Was macht der Python-Crawler?

Python-Crawler bezieht sich auf einen auf Python entwickelten Crawler, und ein Web-Crawler ist ein Programm oder Skript, das World Wide Web-Informationen automatisch nach bestimmten Regeln crawlt; Benutzer können Crawler zum Crawlen von Bildern, zum Crawlen von Videos usw. verwenden . Die Daten, die Sie crawlen möchten, können über den Crawler abgerufen werden, sofern über den Browser darauf zugegriffen werden kann.

Die Betriebsumgebung dieses Artikels: Linux5.9.8-System, Dell G3-Computer, Python3.6.4.

80 % der Crawler weltweit werden auf Basis von Python entwickelt. Durch das Erlernen von Crawler-Fähigkeiten können wichtige Datenquellen für die anschließende Big-Data-Analyse, das Mining, maschinelles Lernen usw. bereitgestellt werden. Sie können Crawler zum Crawlen von Bildern, Videos und anderen Daten verwenden, die Sie crawlen möchten. Solange Sie über den Browser auf die Daten zugreifen können, können Sie diese über den Crawler abrufen.

Was ist ein Crawler?

Webcrawler (in der FOAF-Community auch als Web-Spider, Web-Robots und häufiger als Web-Page-Chaser bekannt) sind eine Art Web-Crawler, der das World Wide Web nach bestimmten Kriterien automatisch crawlt Regeln. Informationsprogramm oder Skript. Andere, weniger häufig verwendete Namen sind Ameisen, Autoindexer, Emulatoren oder Würmer.

Tatsächlich geht es für Laien darum, die gewünschten Daten auf der Webseite über ein Programm abzurufen, also die Daten automatisch zu erfassen.

Was ist die Natur eines Crawlers?

Simulieren Sie den Browser, um die Webseite zu öffnen und den Teil der Daten zu erhalten, den wir auf der Webseite haben möchten

Der Prozess des Browsers, der die Webseite öffnet:

Wenn Sie die Adresse in den Browser eingeben, finden Sie den Serverhost über den DNS-Server und senden eine Anfrage an den Server. Der Server analysiert und sendet die Ergebnisse an den Browser des Benutzers, einschließlich HTML, JS , CSS und andere Dateiinhalte, die vom Browser analysiert und schließlich die Ergebnisse angezeigt werden, die Benutzer im Browser sehen. Die Ergebnisse des Browsers, die Benutzer sehen, bestehen also aus HTML-Code Um diesen Inhalt zu erhalten, analysieren und filtern Sie den HTML-Code, um uns die benötigten Ressourcen zu beschaffen.

[Empfohlene Lektüre:

Python-Video-Tutorial

]

Das obige ist der detaillierte Inhalt vonWas macht der Python-Crawler?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!