Bagaimana untuk menggunakan ELK Stack untuk analisis log dalam persekitaran Linux?

Bagaimana untuk menggunakan ELK Stack untuk analisis log dalam persekitaran Linux?

1. Pengenalan kepada ELK Stack
ELK Stack ialah platform analisis log yang terdiri daripada tiga perisian sumber terbuka Elasticsearch, Logstash dan Kibana. Elasticsearch ialah enjin carian dan analisis masa nyata yang diedarkan, Logstash ialah alat untuk mengumpul, memproses dan memajukan log, dan Kibana ialah antara muka untuk menggambarkan dan menganalisis log.

2. Pasang ELK Stack

1. Pasang Elasticsearch
   (1) Muat turun versi terkini Elasticsearch:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz

(2) Buka zip pakej pemasangan:

tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz

(3) Jalankan Elasticsearch:

cd elasticsearch-7.15.2/bin
./elasticsearch

Sahkan Sama ada Elasticsearch berjalan seperti biasa, lawati http://localhost:9200 dalam penyemak imbas Jika maklumat berikut dikembalikan, pemasangan berjaya:

{
  "name" : "xxxx",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "xxxx",
  "version" : {
    "number" : "7.15.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "xxxx",
    "build_date" : "xxxx",
    "build_snapshot" : false,
    "lucene_version" : "xxxx",
    "minimum_wire_compatibility_version" : "xxxx",
    "minimum_index_compatibility_version" : "xxxx"
  },
  "tagline" : "You Know, for Search"
}

Pasang Logstash
2. (1) Muat turun versi terkini Logstash:
   
.

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.15.2.tar.gz

(2) Penyelesaian Pakej pemasangan termampat:

tar -zxvf logstash-7.15.2.tar.gz

(3) Cipta fail konfigurasi Logstash, seperti logstash.conf:

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-access-log"
  }
  stdout { codec => rubydebug }
}

Fail konfigurasi di atas menentukan laluan log input, menggunakan corak Grok untuk memadankan format log, dan menghantar log yang diproses ke Elasticsearch Dan mengeluarkan maklumat penyahpepijatan dalam terminal melalui pemalam stdout.

(4) Jalankan Logstash:

cd logstash-7.15.2/bin
./logstash -f logstash.conf

Nota: Maklumat konfigurasi logstash.conf perlu diubah suai mengikut situasi sebenar.

Pasang Kibana
3. (1) Muat turun versi terkini Kibana:
   

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.15.2-linux-x86_64.tar.gz

(2) Nyahzip pakej pemasangan:

tar -zxvf kibana-7.15.2-linux-x86_64.tar.gz

(3) Ubah suai fail config/kibana.yml dan tetapkan alamat Elasticsearch:

elasticsearch.hosts: ["http://localhost:9200"]

( 4) Jalankan Kibana:

cd kibana-7.15.2/bin
./kibana

(5) Lawati http://localhost:5601 dalam penyemak imbas Jika anda dapat melihat antara muka Kibana, pemasangan berjaya.

3. Gunakan ELK Stack untuk analisis log

Selepas ELK Stack dipasang, anda boleh memulakan analisis log.

Kumpul log
1. Dalam fail konfigurasi Logstash, anda boleh mengkonfigurasi log daripada berbilang sumber, seperti fail, rangkaian, dsb. Ubah suai fail konfigurasi Logstash, nyatakan sumber log yang betul dan formatkannya dengan sewajarnya.
   
Proses dan log ke hadapan
2. Logstash ialah alat pemprosesan log yang berkuasa yang boleh memproses dan memajukan log melalui pemalam terbina dalam. Dalam bahagian penapis fail konfigurasi, anda boleh menggunakan satu siri pemalam untuk menghuraikan, menapis dan memformat log.
   
Menyimpan dan Mengindeks Log
3. Dalam bahagian output fail konfigurasi Logstash, anda boleh mengkonfigurasi cara log disimpan dan diindeks. Elasticsearch ialah enjin carian teragih yang boleh menyimpan dan mendapatkan semula sejumlah besar data dengan cepat. Anda boleh menyimpan log yang diproses dalam indeks yang sepadan dengan mengkonfigurasi hos dan parameter indeks Elasticsearch.
   
Visualkan dan analisis log
4. Kibana ialah alat visualisasi ELK Stack, yang menyediakan carta dan papan pemuka yang kaya untuk memaparkan dan menganalisis data log. Di Kibana, pelbagai carta dan laporan boleh disesuaikan untuk memenuhi keperluan yang berbeza dengan mencipta corak indeks, visualisasi dan papan pemuka.
   

4 Summary

ELK Stack ialah platform analisis log yang berkuasa dan fleksibel yang boleh membantu kami mengumpul, memproses, menyimpan, menggambarkan dan menganalisis data log. Ia hanya mengambil beberapa langkah mudah untuk memasang dan mengkonfigurasi ELK Stack dalam persekitaran Linux, dan kemudian anda boleh melakukan analisis log berdasarkan keperluan sebenar. Dengan cara ini, kami boleh memahami dan menggunakan data log dengan lebih baik untuk mengoptimumkan prestasi sistem, mengenal pasti masalah yang berpotensi dan meningkatkan pengalaman pengguna.

Atas ialah kandungan terperinci Bagaimana untuk menggunakan ELK Stack untuk analisis log dalam persekitaran Linux?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!