Wie führt man Web-Crawling und Data-Scraping in PHP durch?-PHP-Tutorial-php.cn

Wie führt man Web-Crawling und Data-Scraping in PHP durch?

WBOY

Freigeben： 2023-05-20 21:54:01

Original

980 Leute haben es durchsucht

Mit dem Aufkommen des Internetzeitalters ist das Crawlen und Abrufen von Netzwerkdaten für viele Menschen zu einer täglichen Aufgabe geworden. Unter den Programmiersprachen, die die Webentwicklung unterstützen, ist PHP aufgrund seiner Skalierbarkeit und Benutzerfreundlichkeit zu einer beliebten Wahl für Webcrawler und Daten-Scraping geworden. In diesem Artikel wird unter folgenden Gesichtspunkten erläutert, wie Web-Crawling und Daten-Scraping in PHP durchgeführt werden.

1. HTTP-Protokoll und Anforderungsimplementierung

Bevor Sie Web-Crawling und Data Scraping durchführen, müssen Sie über ein gewisses Verständnis des HTTP-Protokolls und der Anforderungsimplementierung verfügen. Das HTTP-Protokoll basiert auf dem Anforderungs-Antwort-Modell. Beim Crawlen von Webseiten werden Anforderungen simuliert und Antworten erhalten. In PHP können Sie die Curl-Bibliothek verwenden, um HTTP-Anfragen zu implementieren. Initialisieren Sie die Sitzung über Curl, legen Sie die Anforderungsparameter fest, senden Sie die Anforderung und rufen Sie dann die Antwortinformationen ab. Das Folgende ist ein einfaches Beispiel:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
curl_close($ch);

Nach dem Login kopieren

Dieser Code verwendet Curl, um eine GET-Anfrage an die URL „https://example.com“ zu implementieren und den Antwortinhalt zurückzugeben. Unter diesen ist CURLOPT_URL die angeforderte URL und CURLOPT_RETURNTRANSFER ist auf true gesetzt. Die Funktion „curl_exec()“ gibt den Antwortinhalt zurück, ohne ihn direkt auszugeben.

2. HTML-Analyse

Nachdem der Antwortinhalt der Webseite erhalten wurde, muss der HTML-Code analysiert werden, um die Zielinformationen zu extrahieren. In PHP können Sie Bibliotheken von Drittanbietern wie DomCrawler oder Goutte von Symfony verwenden, um HTML zu analysieren. Das Folgende ist ein einfaches Beispiel für die Verwendung von DomCrawler zum Parsen von HTML:

use SymfonyComponentDomCrawlerCrawler;

$html = '<html><title>example</title><body><div class="post"><h2>Test</h2><p>Content</p></div></body></html>';
$crawler = new Crawler($html);
$title = $crawler->filter('title')->text();
$content = $crawler->filter('.post p')->text();

Nach dem Login kopieren

Dieser Code muss zuerst die DomCrawler-Bibliothek installieren und importieren und dann ein Crawler-Objekt mit der $html-Zeichenfolge initialisieren. Anschließend kann das angegebene HTML-Element mit der Methode filter() extrahiert und mit der Methode text() in einfachen Text umgewandelt werden.

3. Reguläre Ausdrücke

In PHP können Sie auch reguläre Ausdrücke verwenden, um HTML-Text zu bearbeiten. Reguläre Ausdrücke sind ein allgemeines Textvergleichstool, das Muster definiert, um bestimmte Zeichen, Wörter oder Muster im Text abzugleichen. Das Folgende ist ein einfaches Beispiel:

$html = '<html><title>example</title><body><div class="post"><h2>Test</h2><p>Content</p></div></body></html>';
preg_match('/<title>(.*)</title>/', $html, $matches);
$title = $matches[1];
preg_match('/<div class="post">(.*)</div>/', $html, $matches);
$content = $matches[1];

Nach dem Login kopieren

Dieser Code verwendet die Funktion preg_match(), um den Titel und den Inhalt in HTML abzugleichen und den Zielinhalt über den definierten regulären Ausdruck zu extrahieren. Es ist zu beachten, dass der reguläre Ausdruck so genau wie möglich sein sollte, um mehrdeutige Übereinstimmungen und versehentliche Übereinstimmungen zu vermeiden.

4. Datenbankbetrieb

Das Crawlen von Daten erfordert normalerweise das Speichern der gecrawlten Daten für die spätere Analyse und Verwendung. In PHP können Sie mehrere Datenbanken wie MySQL zur Datenspeicherung verwenden. Das Folgende ist ein einfaches Beispiel für eine MySQL-Datenbankoperation:

$conn = mysqli_connect("localhost", "user", "password", "example");
if (!$conn) {
    die("Connection failed: " . mysqli_connect_error());
}
$sql = "INSERT INTO posts (title, content) VALUES ('$title', '$content')";
if (mysqli_query($conn, $sql)) {
    echo "New record created successfully";
} else {
    echo "Error: " . $sql . "<br>" . mysqli_error($conn);
}
mysqli_close($conn);

Nach dem Login kopieren

Dieser Code verwendet die Funktion mysqli_connect(), um eine Verbindung zur MySQL-Datenbank herzustellen, und verwendet dann die Funktion mysqli_query(), um einen Einfügevorgang zum Einfügen des Titels auszuführen und Inhalt in die Beitragstabelle. Es ist zu beachten, dass diese Methode Datensicherheitsprobleme wie SQL-Injection aufweist und Sicherheitsmaßnahmen wie vorbereitete Anweisungen in Betracht gezogen werden sollten.

Zusammenfassung

Durch die obige Einführung können wir die grundlegenden Methoden des Web-Crawlings und der Datenerfassung in PHP verstehen, einschließlich der Implementierung von HTTP-Protokollen und -Anfragen, HTML-Analyse und Regular Ausdrücke und Datenbankoperationen usw. In praktischen Anwendungen ist es außerdem erforderlich, basierend auf den Merkmalen der Webseitenstruktur und der Zieldaten flexibel geeignete Implementierungsmethoden auszuwählen. Ich glaube, dass Sie mit Hilfe dieser Methoden Daten effizienter crawlen und scrapen können.

Das obige ist der detaillierte Inhalt vonWie führt man Web-Crawling und Data-Scraping in PHP durch?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!