Backend-Entwicklung
PHP-Tutorial
So erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP
So erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP
So erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP
Einführung:
Ein Webcrawler ist ein automatisiertes Programm, das Informationen aus dem Internet sammelt und diese organisiert und analysiert. Elasticsearch ist eine Open-Source-Suchmaschine, die schnelle Such- und Analysefunktionen in Echtzeit bietet. PHP ist eine beliebte serverseitige Skriptsprache. Durch die Kombination von Elasticsearch und PHP können wir einen Echtzeit-Webcrawler erstellen, der Daten von Websites sammelt und sie zur Suche und Analyse in Elasticsearch speichert.
Schritt 1: Elasticsearch installieren und konfigurieren
Zuerst müssen wir Elasticsearch auf dem Server installieren und konfigurieren. Sie können die für Ihr Betriebssystem geeignete Version von der offiziellen Website von Elasticsearch herunterladen und gemäß der offiziellen Dokumentation installieren und konfigurieren.
Schritt 2: Elasticsearch-Index einrichten
In Elasticsearch werden Daten im Index gespeichert. Wir müssen die Struktur und Felder des Index definieren. Das Folgende ist eine Beispiel-Indexdefinition zum Speichern der Daten, die wir von der Website entfernen:
PUT my_index
{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"content": {
"type": "text"
},
"url": {
"type": "keyword"
}
}
}
}Hier definieren wir einen Index mit dem Namen „my_index“, der „title“, „content“ und „url“ enthält. Drei Felder. Die Felder „Titel“ und „Inhalt“ sind vom Typ „Text“ und das Feld „URL“ vom Typ „Schlüsselwort“. Sie können je nach Bedarf weitere Felder definieren.
Schritt 3: PHP-Crawler-Code schreiben
Als Nächstes schreiben wir mit PHP einen einfachen Webcrawler, um Daten von der angegebenen Website zu crawlen und die Daten in Elasticsearch zu speichern. Das Folgende ist ein Beispielcode:
<?php
// 定义需要抓取的目标网站URL
$targetUrl = "https://www.example.com";
// 创建一个Elasticsearch客户端实例
$esClient = new ElasticsearchClient();
// 从目标网站上获取HTML内容
$htmlContent = file_get_contents($targetUrl);
// 使用正则表达式提取标题和内容
preg_match('/<title>(.*?)</title>/', $htmlContent, $titleMatches);
preg_match('/<body>(.*?)</body>/', $htmlContent, $contentMatches);
// 抓取到的数据
$title = $titleMatches[1];
$content = strip_tags($contentMatches[1]); // 去除HTML标签
// 构建文档
$document = [
'index' => 'my_index',
'body' => [
'title' => $title,
'content' => $content,
'url' => $targetUrl
]
];
// 将文档存储到Elasticsearch中
$esClient->index($document);
echo "数据已成功存储到Elasticsearch中！";
?>In diesem Code definieren wir zunächst die URL der Zielwebsite, die gecrawlt werden soll. Anschließend wurde eine Elasticsearch-Client-Instanz für die Interaktion mit Elasticsearch erstellt. Verwenden Sie als Nächstes die Funktion file_get_contents, um den HTML-Inhalt der Zielwebsite abzurufen, und verwenden Sie dann reguläre Ausdrücke, um Titel und Inhalt zu extrahieren. Abschließend wird das Dokument erstellt und in Elasticsearch gespeichert. Der Speichervorgang verwendet die von Elasticsearch bereitgestellte Indexfunktion.
Schritt 4: Führen Sie den Crawler-Code aus.
Speichern Sie den obigen Code in einer PHP-Datei und laden Sie ihn auf Ihren Server hoch. Führen Sie dann die Datei im Terminal oder in der Befehlszeile aus, um die Ausführung des Crawlers zu starten.
$ php crawler.php
Der Crawler crawlt Daten von der angegebenen Website und speichert sie in Elasticsearch.
Fazit:
Durch die Kombination von Elasticsearch und PHP können wir einen einfachen, aber leistungsstarken Echtzeit-Webcrawler erstellen. Mit den Such- und Analysefunktionen von Elasticsearch können wir die gecrawlten Daten einfach durchsuchen und analysieren. Ich hoffe, dieser Artikel ist hilfreich für Sie. Versuchen Sie, Ihren eigenen Echtzeit-Webcrawler zu erstellen!
Das obige ist der detaillierte Inhalt vonSo erstellen Sie einen Echtzeit-Webcrawler mit Elasticsearch und PHP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1378
52
PHP 8.4 Installations- und Upgrade-Anleitung für Ubuntu und Debian
Dec 24, 2024 pm 04:42 PM
PHP 8.4 bringt mehrere neue Funktionen, Sicherheitsverbesserungen und Leistungsverbesserungen mit einer beträchtlichen Menge an veralteten und entfernten Funktionen. In dieser Anleitung wird erklärt, wie Sie PHP 8.4 installieren oder auf PHP 8.4 auf Ubuntu, Debian oder deren Derivaten aktualisieren. Obwohl es möglich ist, PHP aus dem Quellcode zu kompilieren, ist die Installation aus einem APT-Repository wie unten erläutert oft schneller und sicherer, da diese Repositorys in Zukunft die neuesten Fehlerbehebungen und Sicherheitsupdates bereitstellen.
So richten Sie Visual Studio-Code (VS-Code) für die PHP-Entwicklung ein
Dec 20, 2024 am 11:31 AM
Visual Studio Code, auch bekannt als VS Code, ist ein kostenloser Quellcode-Editor – oder eine integrierte Entwicklungsumgebung (IDE) –, die für alle gängigen Betriebssysteme verfügbar ist. Mit einer großen Sammlung von Erweiterungen für viele Programmiersprachen kann VS Code c
Wie analysiert und verarbeitet man HTML/XML in PHP?
Feb 07, 2025 am 11:57 AM
Dieses Tutorial zeigt, wie XML -Dokumente mit PHP effizient verarbeitet werden. XML (Extensible Markup-Sprache) ist eine vielseitige textbasierte Markup-Sprache, die sowohl für die Lesbarkeit des Menschen als auch für die Analyse von Maschinen entwickelt wurde. Es wird üblicherweise für die Datenspeicherung ein verwendet und wird häufig verwendet
7 PHP-Funktionen, die ich leider vorher nicht kannte
Nov 13, 2024 am 09:42 AM
Wenn Sie ein erfahrener PHP-Entwickler sind, haben Sie möglicherweise das Gefühl, dass Sie dort waren und dies bereits getan haben. Sie haben eine beträchtliche Anzahl von Anwendungen entwickelt, Millionen von Codezeilen debuggt und eine Reihe von Skripten optimiert, um op zu erreichen
Erklären Sie JSON Web Tokens (JWT) und ihren Anwendungsfall in PHP -APIs.
Apr 05, 2025 am 12:04 AM
JWT ist ein offener Standard, der auf JSON basiert und zur sicheren Übertragung von Informationen zwischen Parteien verwendet wird, hauptsächlich für die Identitätsauthentifizierung und den Informationsaustausch. 1. JWT besteht aus drei Teilen: Header, Nutzlast und Signatur. 2. Das Arbeitsprinzip von JWT enthält drei Schritte: Generierung von JWT, Überprüfung von JWT und Parsingnayload. 3. Bei Verwendung von JWT zur Authentifizierung in PHP kann JWT generiert und überprüft werden, und die Funktionen und Berechtigungsinformationen der Benutzer können in die erweiterte Verwendung aufgenommen werden. 4. Häufige Fehler sind Signaturüberprüfungsfehler, Token -Ablauf und übergroße Nutzlast. Zu Debugging -Fähigkeiten gehört die Verwendung von Debugging -Tools und Protokollierung. 5. Leistungsoptimierung und Best Practices umfassen die Verwendung geeigneter Signaturalgorithmen, das Einstellen von Gültigkeitsperioden angemessen.
PHP -Programm zum Zählen von Vokalen in einer Zeichenfolge
Feb 07, 2025 pm 12:12 PM
Eine Zeichenfolge ist eine Folge von Zeichen, einschließlich Buchstaben, Zahlen und Symbolen. In diesem Tutorial wird lernen, wie Sie die Anzahl der Vokale in einer bestimmten Zeichenfolge in PHP unter Verwendung verschiedener Methoden berechnen. Die Vokale auf Englisch sind a, e, i, o, u und sie können Großbuchstaben oder Kleinbuchstaben sein. Was ist ein Vokal? Vokale sind alphabetische Zeichen, die eine spezifische Aussprache darstellen. Es gibt fünf Vokale in Englisch, einschließlich Großbuchstaben und Kleinbuchstaben: a, e, ich, o, u Beispiel 1 Eingabe: String = "TutorialPoint" Ausgabe: 6 erklären Die Vokale in der String "TutorialPoint" sind u, o, i, a, o, ich. Insgesamt gibt es 6 Yuan
Erklären Sie die späte statische Bindung in PHP (statisch: :).
Apr 03, 2025 am 12:04 AM
Statische Bindung (statisch: :) implementiert die späte statische Bindung (LSB) in PHP, sodass das Aufrufen von Klassen in statischen Kontexten anstatt Klassen zu definieren. 1) Der Analyseprozess wird zur Laufzeit durchgeführt.
Was sind PHP Magic -Methoden (__construct, __Destruct, __call, __get, __set usw.) und geben Sie Anwendungsfälle an?
Apr 03, 2025 am 12:03 AM
Was sind die magischen Methoden von PHP? Zu den magischen Methoden von PHP gehören: 1. \ _ \ _ Konstrukt, verwendet, um Objekte zu initialisieren; 2. \ _ \ _ Destruct, verwendet zur Reinigung von Ressourcen; 3. \ _ \ _ Call, behandeln Sie nicht existierende Methodenaufrufe; 4. \ _ \ _ GET, Implementieren Sie den dynamischen Attributzugriff; 5. \ _ \ _ Setzen Sie dynamische Attributeinstellungen. Diese Methoden werden in bestimmten Situationen automatisch aufgerufen, wodurch die Code -Flexibilität und -Effizienz verbessert werden.
