PHP implementiert die Open-Source-ELK-Protokollanalyseplattform

Mit der kontinuierlichen Weiterentwicklung des Internets und der Informationstechnologie ist die Protokollanalyse zu einem unverzichtbaren Bestandteil der Geschäfts-, Netzwerksicherheits- und Systemoptimierungsprozesse von Unternehmen geworden. In der Vergangenheit beruhten Protokollanalysemethoden hauptsächlich auf dem manuellen Lesen, Filtern und Analysieren, was bei großen Datenmengen schwierig war. Durch das Aufkommen von Protokollanalyseplattformen können Protokolldaten effizient und genau verarbeitet werden, wodurch der Wert der Daten weiter gesteigert wird. In diesem Artikel wird eine Open-Source-ELK-Protokollanalyseplattform vorgestellt, die mit PHP implementiert wird.

1. Einführung in ELK

ELK ist die Abkürzung für drei Open-Source-Software: Elasticsearch, Logstash und Kibana. Elasticsearch ist eine auf Lucene basierende Suchmaschine, die große Datenmengen verarbeiten und schnell abfragen kann. Logstash ist ein Open-Source-Protokollerfassungs- und -verarbeitungstool, das eine Vielzahl von Protokollen sammeln, analysieren, filtern und umwandeln kann und interaktive Tools, mit denen schnell verschiedene Diagramme und Dashboards erstellt werden können.

ELK zeichnet sich durch einfache Verwendung, effiziente Leistung, starke Skalierbarkeit usw. aus und unterstützt mehrere Datenquellen. Es kann Unternehmen dabei helfen, schnell eine leistungsstarke Protokollanalyseplattform aufzubauen, um den Betriebsstatus von Systemen und Anwendungen zu überwachen.

2. PHP implementiert ELK

Bei der Verwendung von ELK verwenden wir normalerweise Logstash, um Protokolle zu sammeln, zu analysieren und zu transformieren, speichern die Daten dann in Elasticsearch und verwenden Kibana für die visuelle Anzeige. Als beliebte serverseitige Skriptsprache kann PHP mithilfe der Logstash- und Elasticsearch-Bibliotheken auch Protokolle sammeln und speichern.

1. Logstash installieren

Die Installation von Logstash ist sehr einfach. Wir können die entsprechende Version über die Download-Seite der offiziellen Website auswählen und sie dann in das angegebene Verzeichnis entpacken. Beispielsweise können wir es über den folgenden Befehl in einem Linux-System installieren:

curl -L -O https://download.elastic.co/logstash/logstash/logstash-5.5.2.tar.gz
tar -zxvf logstash-5.5.2.tar.gz
cd logstash-5.5.2/bin/
./logstash -e 'input { stdin { } } output { stdout {} }'

Nachdem wir den obigen Befehl ausgeführt haben, können wir über die Standardeingabe testen, ob Logstash erfolgreich installiert wurde. Um die Verwendung von PHP zum Sammeln von Protokollen besser einzuführen, müssen wir natürlich auch entsprechende Bibliotheken installieren.

2. Installieren Sie die Elasticsearch-Bibliothek

Wir verwenden Composer, um die Abhängigkeiten der PHP-Bibliothek zu verwalten. Nach der Installation von Logstash können wir den folgenden Befehl verwenden, um die von Elasticsearch abhängige Bibliothek zu installieren:

composer require elasticsearch/elasticsearch

3. Logstash konfigurieren

Bevor wir Logstash für die Protokollerfassung verwenden, müssen wir auch die relevanten Parameter von Logstash konfigurieren. Zuerst müssen wir die Eingabe für Logstash definieren. In der Eingabekonfiguration können wir einige sehr nützliche Plug-Ins verwenden, wie zum Beispiel:

• Datei: Wird zum Lesen von Protokollen in Dateien verwendet.
• udp, tcp: Wird zum Lesen von Protokollen von UDP- und TCP-Protokollen verwendet.
• Syslog: Wird verwendet Syslog-Protokolle des Systems lesen
• beats: Kann die Protokolle des Beats-Protokolls direkt empfangen

Hier verwenden wir das Datei-Plug-in, um die Protokolldateien auf dem Server zu lesen, zu analysieren und zu verarbeiten. Zum Beispiel:

input {
  file {
    path => "/var/log/apache2/access.log"
    type => "apache_access"
  }
}

Als nächstes müssen wir die Logstash-Filterung konfigurieren. Durch die Filterung können Protokolle analysiert und verarbeitet werden, z. B. durch Extrahieren bestimmter Felder, Parsen von IP-Adressen oder URL-Adressen usw. Das Folgende ist ein einfacher Filter:

filter {
  if [type] == "apache_access" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }

    date {
      match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    }
  }
}

Dann können wir die Logstash-Ausgabe definieren. Die Ausgabe kann die verarbeiteten Daten an Elasticsearch oder andere Datenspeichermedien wie Datenbanken, Dateien usw. ausgeben. Das Folgende ist eine Ausgabekonfiguration:

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "changeme"
  }
}

4. Verwenden Sie PHP zum Sammeln von Protokollen

Nach der obigen Konfiguration können wir PHP zum Sammeln von Protokollen verwenden. Das Folgende ist ein einfaches PHP-Skript, das unter Linux oder anderen UNIX-ähnlichen Umgebungen ausgeführt werden kann:

<?php

require 'vendor/autoload.php';

use ElasticsearchClientBuilder;

$client = ClientBuilder::create()->build();

$log_path = '/var/log/apache2/access.log';
$log_index = 'apache_access';

if(!file_exists($log_path)) {
  echo "Log file '{$log_path}' not exists.";
  exit;
}

$file_size = filesize($log_path);
if($file_size == 0) {
  exit;
}

$lines = file($log_path);
if(empty($lines)) {
  exit;
}

foreach($lines as $line) {
  $log = [];
  $log['@timestamp'] = date('c');
  $log['message'] = $line;
  $log['type'] = $log_index;

  $params = [
    'body' => $log,
    'index' => 'logs',
    'type' => $log_index
  ];

  $response = $client->index($params);
}

Im obigen Code verwenden wir zunächst die Elasticsearch-Clientbibliothek, um eine Clientinstanz zu erstellen. Anschließend definieren wir eine Variable „$log_path“, um den Pfad der zu lesenden Protokolldatei anzugeben. Als nächstes verwenden wir die Funktion file_exists(), um festzustellen, ob die Datei vorhanden ist, die Funktion filesize(), um die Dateigröße zu ermitteln, und die Funktion file(), um den Dateiinhalt zu lesen.

In der foreach-Schleife durchlaufen wir jede Zeile in der Datei und speichern das Format jeder Protokollzeile im $log-Array. Hier speichern wir auch den Protokolltyp und den aktuellen Zeitstempel im $log-Array. Schließlich senden wir das $log-Array mithilfe der index()-Methode von Elasticsearch an Elasticsearch.

3. Zusammenfassung

Durch die obige Einführung können wir den Arbeitsablauf der ELK-Protokollanalyseplattform sehen. Durch die Verwendung von Logstash zum Sammeln, Analysieren und Transformieren von Protokollen, das anschließende Speichern der Daten in Elasticsearch und die Verwendung von Kibana zur Visualisierung und interaktiven Anzeige der Daten können wir Protokolldaten schnell und effizient analysieren. Gleichzeitig kann PHP als beliebte serverseitige Skriptsprache auch Logstash- und Elasticsearch-Bibliotheken zur Protokollerfassung und -speicherung nutzen.

Das obige ist der detaillierte Inhalt vonPHP implementiert die Open-Source-ELK-Protokollanalyseplattform. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!