python爬虫要装什么库

学习Python网络爬虫都需要安装哪些库？

以下是Python爬虫涉及的相关库

请求库，解析库，存储库，工具库

1、请求库：urllib/re/requests

（1） urllib/re是python默认自带的库，可以通过以下命令进行验证：

没有报错信息输出，说明环境正常

（2） requests安装

2.1 打开CMD，输入 pip3 install requests

2.2 等待安装后，验证

（3） selenium安装（驱动浏览器进行网站访问行为）

3.1 打开CMD，输入 pip3 install selenium

3.2 安装chromedriver

网址：https://npm.taobao.org/

把下载完成后的压缩包解压，把exe放到D:\Python3.6.0\Scripts\

这个路径只要在PATH变量中就可以

3.3 等待安装完成后，验证

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址：http://phantomjs.org/

下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量

验证：

打开CMD

2. 解析库：

2.1 lxml (XPATH)

打开CMD输入pip3 install lxml或者从https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件，命令行执行pip3 install 文件名.whl

2.2 beautifulsoup

打开CMD，需要先安装好lxml

pip3 install beautifulsoup4

2.3 pyquery（类似jquery语法）

打开CMD，pip3 install pyquery

验证安装结果

3. 存储库

3.1 pymysql（操作MySQL，关系型数据库）

安装：pip3 install pymysql，安装后测试：

3.2 pymongo（操作MongoDB，key-value）

安装 pip3 install pymongo

验证

3.3 redis（分布式爬虫，维护爬取队列） 安装：pip3 install redis

验证：

4.1Django（分布式爬虫维护系统）pip3 install django

4.2jupyter（运行在网页端的记事本，支持markdown，可以在网页上运行代码）安装 pip3 install jupyter

验证：打开CMD，jupyter notebook

之后就可以在网页直接创建记事本，代码块和Markdown块，支持打印

Atas ialah kandungan terperinci python爬虫要装什么库. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!