1.系統：centos 7
2.docker 1.12.1
介紹ElasticSearch
#Elasticsearch 是一個即時的分散式搜尋和分析引擎，它可以用於全文搜索，結構化搜尋以及分析。它是一個建立在全文搜尋引擎 Apache Lucene 基礎上的搜尋引擎，使用 Java 語言編寫。
Logstash
#Logstash 是一個具有即時通道能力的資料收集引擎，主要用於日誌的收集與解析，並將其存入 ElasticSearch中。
Kibana
#Kibana 是一款基於 Apache 開源協議，使用 JavaScript 語言編寫，為 Elasticsearch 提供分析和視覺化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互數據，並產生各種維度的表圖。
Filebeat
#引入Filebeat作為日誌蒐集器，主要是為了解決Logstash開銷大的問題。比起Logstash，Filebeat 所佔系統的 CPU 和記憶體幾乎可以忽略不計。
架構不引入Filebeat
##引入Filebeat
啟動ElasticSearch
#docker run -d -p 9200:9200 --name elasticsearch elasticsearch
啟動Logstash
#
# 1. 新建配置文件logstash.conf
input {
beats {
port => 5044
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
#填写实际情况elasticsearch的访问IP，因为是跨容器间的访问，使用内网、公网IP，不要填写127.0.0.1|localhost
hosts => ["{$ELASTIC_IP}:9200"]
}
}
# 2.启动容器，暴露并映射端口，挂载配置文件
docker run -d --expose 5044 -p 5044:5044 --name logstash -v "$PWD":/config-dir logstash -f /config-dir/logstash.conf
啟動Filebeat
#下載網址：https://www.elastic.co/downloads/beats/filebeat
# 1.下载Filebeat压缩包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.2-linux-x86_64.tar.gz
# 2.解压文件
tar -xvf filebeat-5.2.2-linux-x86_64.tar.gz
# 3.新建配置文件filebeat.yml
filebeat:
prospectors:
- paths:
- /tmp/test.log #日志文件地址
input_type: log #从文件中读取
tail_files: true #以文件末尾开始读取数据
output:
logstash:
hosts: ["{$LOGSTASH_IP}:5044"] #填写logstash的访问IP
# 4.运行filebeat
./filebeat-5.2.2-linux-x86_64/filebeat -e -c filebeat.yml
啟動Kibana
#docker run -d --name kibana -e ELASTICSEARCH_URL=http://{$ELASTIC_IP}:9200 -p 5601:5601 kibana模擬日誌資料
## 1.创建日志文件 touch /tmp/test.log # 2.向日志文件中写入一条nginx访问日志 echo '127.0.0.1 - - [13/Mar/2017:22:57:14 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36" "-"' >> /tmp/test.log
訪問 http://{$KIBANA_IP}:5601
本文主要講述如何一步一步搭建ELK的過程，以及Filebeat在其中所扮演的角色。
這兒僅僅為大家做了一個演示，要在生產環境中部署時，還需使用資料卷進行資料持久化，容器記憶體問題也需考慮，elasticsearch與logstash都是相對吃記憶體的，如果不加以限制，很可能會拖垮你整個伺服器。
當然安全因素也是大家不能忽略的，如傳輸的安全性、連接埠權限的最小化暴露程度，防火牆設定等。
後續logstash解析日誌格式，如JAVA、nginx、nodejs等日誌；
elasticsearch的常用搜尋語法；
透過kibana製作視覺化圖表；
以上是使用Docker建置ELK+Filebeat日誌集中管理平台的詳細內容。更多資訊請關注PHP中文網其他相關文章！
