Welche Bibliotheken sollten für den Python-Crawler installiert werden?

Welche Bibliotheken müssen installiert werden, um den Python-Webcrawler zu erlernen?

Im Folgenden sind die relevanten Bibliotheken aufgeführt, die an Python-Crawlern beteiligt sind

Anforderungsbibliothek, Analysebibliothek, Repository, Toolbibliothek

1. Bibliothek anfordern: urllib/re/requests

(1) urllib/re ist die Bibliothek, die standardmäßig mit Python geliefert wird und mit dem folgenden Befehl überprüft werden kann:

Es wird keine Fehlermeldung ausgegeben, was darauf hinweist, dass die Umgebung normal ist

(2) fordert Installation an

2.1 Öffnen Sie CMD und geben Sie pip3-Installationsanforderungen ein

2.2 Nachdem Sie auf die Installation gewartet haben, überprüfen Sie

(3) Selenium-Installation (Ansteuerung des Browsers für Website-Zugriffsverhalten)

3.1 CMD öffnen und pip3 eingeben, Selenium installieren

3.2 Chromedriver installieren

Website: https://npm.taobao.org/

Das heruntergeladene komprimierte Paket extrahieren und Fügen Sie die Exe in D:Python3 .6.0Scripts ein

Dieser Pfad muss nur in der PATH-Variablen sein

3.3 Nachdem die Installation abgeschlossen ist, überprüfen Sie

und drücken Sie dann die Eingabetaste, um die Chrome-Browseroberfläche aufzurufen

3.4 Andere Browser installieren

Schnittstellenloser Browser Phantomjs

Download-URL: http://phantomjs.org /

Download Nach Abschluss entpacken Sie es, legen Sie das gesamte Verzeichnis in D:Python3.6.0Scripts ab und fügen Sie den Pfad zum bin-Verzeichnis zur PATH-Variablen hinzu

Überprüfung:

CMD öffnen

2. Parsing-Bibliothek:

2.1 lxml (XPATH)

Öffnen Sie CMD und geben Sie pip3 install lxml ein oder laden Sie es herunter Von https://pypi.python.org, zum Beispiel lxml -4.1.1-cp36-cp36m-win_amd64.whl (md5), laden Sie zuerst die WHL-Datei herunter und führen Sie pip3 install in der Befehlszeile aus Dateiname.whl

2.2 beautifulsoup

Öffnen Sie CMD, Sie müssen zuerst lxml installieren

pip3 install beautifulsoup4

2.3 Pyquery (ähnlich der JQuery-Syntax)

Öffnen Sie CMD, pip3 installieren Sie Pyquery

Überprüfen Sie die Installationsergebnisse

3 >

3.1 pymysql (Betrieb von MySQL, relationale Datenbank)

Installation: pip3 install pymysql, Test nach der Installation:

3.2 pymongo (Betrieb von MongoDB, Schlüsselwert)

Pip3 installieren, Pymongo installieren

Überprüfung

3.3 Redis (verteilter Crawler, Crawling-Warteschlange beibehalten) Installation : pip3 install redis

Überprüfung:

4.1Django (verteiltes Crawler-Wartungssystem) pip3 install django

4.2jupyter (Notepad läuft auf der Webseite, unterstützt Markdown, kann verwendet werden, um den Code auf der Webseite auszuführen) Installieren Sie pip3, installieren Sie jupyter

Überprüfung: CMD öffnen, Jupyter-Notizbuch

kann Notizblöcke, Codeblöcke und Markdown-Blöcke direkt auf der Webseite erstellen und unterstützt das Drucken

Das obige ist der detaillierte Inhalt vonWelche Bibliotheken sollten für den Python-Crawler installiert werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!