So verwenden Sie PHPQuery zum Crawlen von Webseiten in PHP-PHP-Tutorial-php.cn

So verwenden Sie PHPQuery zum Crawlen von Webseiten in PHP

WBOY

Freigeben： 2023-06-27 19:14:01

Original

1968 Leute haben es durchsucht

Im heutigen Zeitalter der Informationsexplosion sind Webcrawler zu einer sehr verbreiteten technischen Methode im Internetbereich geworden. Als eine der am weitesten verbreiteten Sprachen in der Internetentwicklung bietet PHP viele Möglichkeiten, Web-Crawling zu implementieren. Unter anderem ist PHPQuery eine sehr praktische PHP-Bibliothek, mit der Web-Crawling, Datenextraktion und andere Aufgaben schnell und einfach implementiert werden können. In diesem Artikel werden die Verwendung von PHPQuery und Anwendungsfälle vorgestellt, um den Lesern zu helfen, diese Technologie besser zu beherrschen.

1. Einführung in PHPQuery

PHPQuery ist eine Open-Source-PHP-Klassenbibliothek. Sie basiert auf der jQuery-Syntax und ermöglicht PHP-Entwicklern die Verwendung von CSS-Selektoren zum Bedienen von HTML- und XML-Dokumenten B. Elemente abrufen, durchlaufen, Elementattribute ändern, Elemente hinzufügen, löschen, kopieren usw. Für die Verwendung der PHPQuery-Bibliothek sind keine externen Abhängigkeiten oder Erweiterungen erforderlich. Sie müssen lediglich die Core-API verwenden, um das Crawlen von Webseiten und andere Vorgänge abzuschließen.

2. PHPQuery-Installation

Die neueste Version von PHPQuery kann auf GitHub heruntergeladen werden. Um PHPQuery zu installieren, laden Sie einfach die ZIP-Datei herunter und extrahieren Sie sie in Ihren Projektordner. Beispielcode:

require_once 'phpquery/phpQuery/phpQuery.php';

Nach dem Login kopieren

3. Verwendung von PHPQuery

1. HTML-Dokument laden

Verwenden Sie die Methode phpQuery::newDocumentHTML(), um das HTML-Dokument in das phpQuery-Objekt zu laden, und Sie können den zweiten Parameter übergeben, um die Analyse anzugeben Die Zeichenkodierung des Dokuments.

$html = '<html><head><title>PHPQuery Test</title></head><body><h1>Hello PHPQuery！</h1></body></html>';
$doc = phpQuery::newDocumentHTML($html, 'utf-8');

Nach dem Login kopieren

2. Verwenden Sie CSS-Selektoren, um Elemente abzurufen.

Mithilfe von CSS-Selektoren können Sie alle Elemente, die den Anforderungen entsprechen, auf der Webseite abrufen und im phpQuery-Objekt bearbeiten.

//获取HTML文档中的h1元素
$h1 = $doc->find('h1');

Nach dem Login kopieren

3. Elementattribute abrufen und ändern

phpQuery bietet die Methoden attr() und removeAttr() zum Abrufen und Entfernen von Elementattributen und unterstützt auch die Verwendung der Methoden addAttr() und attr() zum Hinzufügen und Ändern von Elementattributen. .

//获取元素的title属性
$title = $h1->attr('title');
//设置元素的title属性
$h1->attr('title', 'PHPQuery Test');
//移除元素的title属性
$h1->removeAttr('title');

Nach dem Login kopieren

4. Elemente durchqueren und kopieren

phpQuery bietet außerdem die Methode every() zum Durchlaufen übereinstimmender Elemente und die Methode clone() zum Kopieren von Elementen.

//遍历所有h5元素
$h5 = $doc->find('h5');
$h5->each(function($index, $element) {
    echo $element->tagName . '<br>';
});
//复制元素
$h6 = $h5->clone();

Nach dem Login kopieren

5. Web-Crawling-Beispiel

Mit den oben genannten Methoden können wir Web-Crawling einfach implementieren. Beispielsweise möchten wir das Logobild auf der Baidu-Homepage crawlen. Wir können die Methode find() erneut verwenden, um das Logo-Bildelement abzurufen, und die Methode attr() verwenden, um die Linkadresse des Bildes abzurufen, und schließlich die Funktion file_gets_content() verwenden, um das Bild herunterzuladen. Der spezifische Code lautet wie folgt:

//载入百度首页
$html = file_get_contents('https://www.baidu.com');
$doc = phpQuery::newDocumentHTML($html);
//获取百度首页Logo图片链接地址
$img_url = $doc->find('#lg img')->attr('src');
//通过file_get_contents()函数获取图片内容并保存到本地
$img_content = file_get_contents($img_url);
file_put_contents('baidu_logo.jpeg', $img_content);

Nach dem Login kopieren

4. Fazit

PHPQuery ist eine praktische, schnelle und leistungsstarke PHP-Klassenbibliothek, die uns beim Webcrawlen, bei der Datenextraktion und bei anderen Arbeiten sehr helfen kann. Der obige Inhalt ist nur eine kurze Einführung in PHPQuery. Durch eingehenderes Studium und Übung können Leser diese Technologie besser beherrschen. Gleichzeitig sollten Sie beim Crawlen von Webseiten die Urheberrechts- und Crawling-Regeln der Website respektieren, um Risiken und rechtliche Haftung zu vermeiden, die durch illegales Crawling oder unsachgemäße Nutzung entstehen.

Das obige ist der detaillierte Inhalt vonSo verwenden Sie PHPQuery zum Crawlen von Webseiten in PHP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!