Welche Bibliotheken müssen für den Python-Crawler installiert werden?

Webcrawler (in der FOAF-Community auch als Web-Spider, Web-Robots und häufiger als Web-Chaser bekannt) sind Programme oder Skripte, die nach bestimmten Regeln automatisch Informationen aus dem World Wide Web crawlen.

1. Die zu installierende Umgebung ist hauptsächlich die Python-Umgebung und die Datenbankumgebung.

mongodb

redis

mysql

2. Einige häufig verwendete Bibliotheken

urillb

re

Anfragen

selenium

phantomjs

lxml

beautifulsoup4

pyquery

pymysql

pymongo

redis

flask

django

jupyter

Das obige ist der detaillierte Inhalt vonWelche Bibliotheken müssen für den Python-Crawler installiert werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!