Holen Sie sich den Quellcode – Gibt es ein voll funktionsfähiges Open-Source-Projekt für die Erfassung von Webseitendaten in PHP?

Gibt es ein Open-Source-Tool zum Sammeln von Daten von Webseiten

?

Wenn Sie beispielsweise eine kontinuierliche Regelerfassung einschließen möchten, erfassen Sie zuerst die Paging-Informationen, rufen Sie daraus die Detailseite ab und erfassen Sie die wirklich benötigten DOM-Felder von der Detailseite

Enthält die endgültige, in der Datenbank gespeicherte Anpassung,

Beinhaltet die Möglichkeit, IP usw. zu fälschen.

Enthält einen automatischen Warteschlangenmechanismus und eine automatische Verzögerung

Warten

Vielen Dank

Antwortinhalt:

Gibt es ein Open-Source-Tool zum Sammeln von Daten von Webseiten

?

Wenn Sie beispielsweise eine kontinuierliche Regelerfassung einschließen möchten, erfassen Sie zuerst die Paging-Informationen, rufen Sie daraus die Detailseite ab und erfassen Sie die wirklich benötigten DOM-Felder von der Detailseite

Enthält die endgültige, in der Datenbank gespeicherte Anpassung,

Beinhaltet die Möglichkeit, IP usw. zu fälschen.

Enthält einen automatischen Warteschlangenmechanismus und eine automatische Verzögerung

Warten

Vielen Dank

Ja, Sie können die [Archer Cloud Crawler Development Platform] ausprobieren. 】
Archer Cloud Crawler ist eine SaaS-Serviceplattform, die JS-Entwicklern hilft, Crawler-Systeme schnell zu entwickeln. Archer bietet ein benutzerfreundliches, flexibles und offenes Cloud-Crawler-Entwicklungsframework, mit dem Entwickler einen Crawler implementieren können, indem sie nur wenige Zeilen JS-Code online schreiben. Und der Crawler läuft automatisch auf dem Cloud-Server, wodurch das Crawlen schneller und effizienter wird.

phpcrawler, PHP-Crawler, PHP-Collector, Multiprozess, Multithread

phpQuery