python爬虫需要安装什么-Python教程-PHP中文网

首页

后端开发

Python教程

python爬虫需要安装什么

藏色散人

Jul 05, 2019 am 10:28 AM

python

python爬虫需要安装什么

世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

python爬虫需要安装相关库：

python爬虫涉及的库：

请求库，解析库，存储库，工具库

1. 请求库：urllib/re/requests

（1） urllib/re是python默认自带的库，可以通过以下命令进行验证：

没有报错信息输出，说明环境正常

（2） requests安装

2.1 打开CMD，输入

pip3 install requests

登录后复制

2.2 等待安装后，验证

（3） selenium安装（驱动浏览器进行网站访问行为）

3.1 打开CMD，输入

pip3 install selenium

登录后复制

3.2 安装chromedriver

网址：https://npm.taobao.org/

把下载完成后的压缩包解压，把exe放到D:\Python3.6.0\Scripts\

这个路径只要在PATH变量中就可以

3.3 等待安装完成后，验证

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址：http://phantomjs.org/

下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量

验证：

打开CMD

phantomjs
console.log(&#39;phantomjs&#39;)

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get(&#39;http://www.baidu.com&#39;)
driver.page_source

登录后复制

2. 解析库：

2.1 lxml (XPATH)

打开CMD

pip3 install lxml

登录后复制

或者从https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

pip3 install 文件名.whl

登录后复制

2.2 beautifulsoup

打开CMD，需要先安装好lxml

pip3 install beautifulsoup4

登录后复制

验证

python
from bs4 import BeautifulSoup
soup = BeautifulSoup(&#39;<html></html>&#39;,&#39;lxml&#39;)

登录后复制

2.3 pyquery（类似jquery语法）

打开CMD

pip3 install pyquery

登录后复制

验证安装结果

python
from pyquery import PyQuery as pq
doc = pq(&#39;<html>hi</html>&#39;)
result = doc(&#39;html&#39;).text()
result

登录后复制

3. 存储库

3.1 pymysql（操作MySQL，关系型数据库）

安装：

pip3 install pymysql

登录后复制

安装后测试：

3.2 pymongo（操作MongoDB，key-value）

安装

pip3 install pymongo

登录后复制

验证

python
import pymongo
client = pymongo.MongoClient(&#39;localhost&#39;)
db = client[&#39;testdb&#39;]
db[&#39;table&#39;].insert({&#39;name&#39;:&#39;bob&#39;})
db[&#39;table&#39;].find_one({&#39;name&#39;:&#39;bob&#39;})

登录后复制

3.3 redis（分布式爬虫，维护爬取队列）

安装：

pip3 install redis

登录后复制

验证：

4.工具库

4.1 flask（WEB库）

pip3 install flask

登录后复制

4.2 Django（分布式爬虫维护系统）

pip3 install django

登录后复制

4.3 jupyter（运行在网页端的记事本，支持markdown，可以在网页上运行代码）

pip3 install jupyter

登录后复制

验证：

打开CMD

jupyter notebook

登录后复制

之后就可以在网页直接创建记事本，代码块和Markdown块，支持打印

【相关推荐】

1. python爬虫库以及相关利器

2. python爬虫入门教程

以上是python爬虫需要安装什么的详细内容。更多信息请关注PHP中文网其他相关文章！

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

热工具

热门话题

gmail邮箱登陆入口在哪里

7562

CakePHP 教程

1384

steam的账户名称是什么格式

win11激活密钥永久

NYT连接提示和答案

显示更多

Related knowledge

PHP和Python：代码示例和比较 Apr 15, 2025 am 12:07 AM

PHP和Python各有优劣，选择取决于项目需求和个人偏好。1.PHP适合快速开发和维护大型Web应用。2.Python在数据科学和机器学习领域占据主导地位。

Python vs. JavaScript：社区，图书馆和资源 Apr 15, 2025 am 12:16 AM

Python和JavaScript在社区、库和资源方面的对比各有优劣。1)Python社区友好，适合初学者，但前端开发资源不如JavaScript丰富。2)Python在数据科学和机器学习库方面强大，JavaScript则在前端开发库和框架上更胜一筹。3)两者的学习资源都丰富，但Python适合从官方文档开始，JavaScript则以MDNWebDocs为佳。选择应基于项目需求和个人兴趣。

CentOS上PyTorch的GPU支持情况如何 Apr 14, 2025 pm 06:48 PM

在CentOS系统上启用PyTorchGPU加速，需要安装CUDA、cuDNN以及PyTorch的GPU版本。以下步骤将引导您完成这一过程：CUDA和cuDNN安装确定CUDA版本兼容性:使用nvidia-smi命令查看您的NVIDIA显卡支持的CUDA版本。例如，您的MX450显卡可能支持CUDA11.1或更高版本。下载并安装CUDAToolkit:访问NVIDIACUDAToolkit官网，根据您显卡支持的最高CUDA版本下载并安装相应的版本。安装cuDNN库:前

docker原理详解 Apr 14, 2025 pm 11:57 PM

Docker利用Linux内核特性，提供高效、隔离的应用运行环境。其工作原理如下：1. 镜像作为只读模板，包含运行应用所需的一切；2. 联合文件系统（UnionFS）层叠多个文件系统，只存储差异部分，节省空间并加快速度；3. 守护进程管理镜像和容器，客户端用于交互；4. Namespaces和cgroups实现容器隔离和资源限制；5. 多种网络模式支持容器互联。理解这些核心概念，才能更好地利用Docker。

CentOS上PyTorch的分布式训练如何操作 Apr 14, 2025 pm 06:36 PM

在CentOS系统上进行PyTorch分布式训练，需要按照以下步骤操作：PyTorch安装:前提是CentOS系统已安装Python和pip。根据您的CUDA版本，从PyTorch官网获取合适的安装命令。对于仅需CPU的训练，可以使用以下命令：pipinstalltorchtorchvisiontorchaudio如需GPU支持，请确保已安装对应版本的CUDA和cuDNN，并使用相应的PyTorch版本进行安装。分布式环境配置:分布式训练通常需要多台机器或单机多GPU。所

CentOS上PyTorch版本怎么选 Apr 14, 2025 pm 06:51 PM

在CentOS系统上安装PyTorch，需要仔细选择合适的版本，并考虑以下几个关键因素：一、系统环境兼容性:操作系统:建议使用CentOS7或更高版本。CUDA与cuDNN:PyTorch版本与CUDA版本密切相关。例如，PyTorch1.9.0需要CUDA11.1，而PyTorch2.0.1则需要CUDA11.3。cuDNN版本也必须与CUDA版本匹配。选择PyTorch版本前，务必确认已安装兼容的CUDA和cuDNN版本。Python版本:PyTorch官方支