使用Python的urllib和urllib2模块制作爬虫的实例教程-Python教程-PHP中文网

首页

后端开发

Python教程

使用Python的urllib和urllib2模块制作爬虫的实例教程

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 10, 2016 pm 03:06 PM

python urllib 爬虫

urllib
学习python完基础,有些迷茫.眼睛一闭,一种空白的窒息源源不断而来.还是缺少练习,遂拿爬虫来练练手.学习完斯巴达python爬虫课程后,将心得整理如下,供后续翻看.整篇笔记主要分以下几个部分:

1.做一个简单的爬虫程序
2.小试牛刀--抓取百度贴吧图片
3.总结

1.做一个简单的爬虫程序
首先环境描述

Device: Mba 2012 Yosemite 10.10.1
Python: python 2.7.9
编辑器: Sublime Text 3

这个没有什么好说的,直接上代码吧!

'''
@ urllib为python自带的一个网络库
@ urlopen为urllib的一个方法,用于打开一个连接并抓取网页,
 然后通过read()方法把值赋给read()
'''
import urllib

url = "http://www.lifevc.com"#多嘴两句,为什么要选lifevc呢,主要是最近它很惹我.
html = urllib.urlopen(url)
content = html.read()
html.close()
#可以通过print打印出网页内容
print content

登录后复制

很简单,基本上没有可说的,这个也就是python的魅力,几行代码就完成.
当然我们仅仅抓取网页,没有实在的价值.接下来我们就开始做一点有意义的事情.

2.小试牛刀
抓取百度贴吧图片
其实也很简单,因为要抓取图片,还需要先分析一下网页源代码
(这里以知道基本html知识,浏览器以chrome为例)
如图,这里简要说下步骤,请参考.

打开网页,右键点击,选择"inspect Element"(最下面这一项)
点击下面弹起来的框框最左边那个问号,问号会变成蓝色
移动鼠标去点击我们想要抓取的图片(一个萌妹子)
如图,我们就可以图片在源码中的位置了

2016120102212622.gif (899×570)

下面将源码相关拷贝出来

<img class="BDE_Image lazy"  src="/static/imghw/default1.png"  data-src="(.+&#63;\.jpg)"     style="max-width:90%"  style="max-width:90%" style="cursor: url(http://tb2.bdstatic.com/tb/
static-pb/img/cur_zin.cur), pointer;">

登录后复制

经分析和对比(这里略掉),基本上可以看到要抓取的图片几个特征:

在img标签下
在名为BDE_Image的类下面
图片格式为jpg

正则表达式后续我会更新,请关注

依照上述判断,直接上代码

'''
@本程序用来下载百度贴吧图片
@re 为正则说明库
'''
import urllib
import re

# 获取网页html信息
url = "http://tieba.baidu.com/p/2336739808"
html = urllib.urlopen(url)
content = html.read()
html.close()

# 通过正则匹配图片特征,并获取图片链接
img_tag = re.compile(r'')
img_links = re.findall(img_tag, content)

# 下载图片 img_counter为图片计数器(文件名)
img_counter = 0
for img_link in img_links:
  img_name = '%s.jpg' % img_counter
  urllib.urlretrieve(img_link, "//Users//Sean//Downloads//tieba//%s" %img_name)
  img_counter += 1

登录后复制

如图,我们就抓取你懂的图片

2016120102253240.png (908×659)

3.总结
如上两节,我们就很轻松的就可以网页或者图片.
补充一点小技巧,如果遇到不是很明白的库或者方法,可以通过以下方法进行初步了解.

dir(urllib) #查看当前库有哪些方法
help(urllib.urlretrieve) #查看跟当前方法相关的作用或者参数,官方比较权威

或者https://docs.python.org/2/library/index.html进项相关搜索.

当然百度也可以,但是效率太低.建议使用 http://xie.lu 进行相关搜索(你懂了,绝对满意).
这里我们讲解如何抓取网页和下载图片,在下面我们会讲解如何抓取有限制抓取的网站.

urllib2
上面我们讲解如何抓取网页和下载图片,在下一节里面我们会讲解如何抓取有限制抓取的网站
首先,我们依然用我们上一节课的方法去抓取一个大家都用来举例的网站,本文主要分以下几个部分:

1.抓取受限网页
2.对代码进行一些优化

1.抓取受限网页

首先使用我们上一节学到的知识测试一下:

'''
@本程序用来抓取blog.csdn.net网页
'''
import urllib

url = "http://blog.csdn.net/FansUnion"
html = urllib.urlopen(url)
#getcode()方法为返回Http状态码
print html.getcode()
html.close()
#输出

登录后复制

此处我们的输出为403,代表拒绝访问;同理200表示请求成功完成;404表示网址未找到.
可见csdn已做了相关屏蔽,通过第一节的方法是无法获取网页,在这里我们需要启动一个新的库:urllib2
但是我们也看到浏览器可以发那个文,是不是我们模拟浏览器操作,就可以获取网页信息.
老办法,我们先来看看浏览器是如何提交请求给csdn服务器的.首先简述一下方法:

打开网页,右键点击,选择"inspect Element"(最下面这一项)
点击下面弹起来的框框的Network选项卡
刷新网页,就可以看到Network选项卡抓取了很多信息
找到其中一个信息展开,就能看到请求包的Header

2016120102427056.gif (856×706)

以下就是整理后的Header信息

Request Method:GET
Host:blog.csdn.net
Referer:http://blog.csdn.net/&#63;ref=toolbar_logo
User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36

登录后复制

然后根据提取的Header信息,利用urllib2的Request方法模拟浏览器向服务器提交请求,代码如下:

# coding=utf-8
'''
@本程序用来抓取受限网页(blog.csdn.net)
@User-Agent:客户端浏览器版本
@Host:服务器地址
@Referer:跳转地址
@GET:请求方法为GET
'''
import urllib2

url = "http://blog.csdn.net/FansUnion"

#定制自定义Header,模拟浏览器向服务器提交请求
req = urllib2.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36')
req.add_header('Host', 'blog.csdn.net')
req.add_header('Referer', 'http://blog.csdn.net')
req.add_header('GET', url)

#下载网页html并打印
html = urllib2.urlopen(req)
content = html.read()
print content
html.close()

登录后复制

呵呵,你限制我,我就跳过你的限制.据说只要浏览器能够访问的,就能够通过爬虫抓取.

2.对代码进行一些优化
简化提交Header方法
发现每次写那么多req.add_header对自己来说是一种折磨,有没有什么方法可以只要复制过来就使用.答案是肯定的.

#input:
help(urllib2.Request)
#output(因篇幅关系,只取__init__方法)
__init__(self, url, data=None, headers={}, origin_req_host=None, unverifiable=False)
通过观察,我们发现headers={},就是说可以以字典的方式提交header信息.那就动手试试咯!!

#只取自定义Header部分代码
csdn_headers = {
  "User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
  "Host": "blog.csdn.net",
  'Referer': 'http://blog.csdn.net',
  "GET": url
  }
req = urllib2.Request(url,headers=csdn_headers)

登录后复制

发现是不是很简单,在这里感谢斯巴达的无私赐教.

提供动态头部信息
如果按照上述方法进行抓取,很多时候会因为提交信息过于单一,被服务器认为是机器爬虫进行拒绝.
那我们是不是有一些更为智能的方法提交一些动态的数据,答案肯定也是肯定的.而且很简单,直接上代码!

'''
@本程序是用来动态提交Header信息
@random 动态库,详情请参考<https://docs.python.org/2/library/random.html>
'''

# coding=utf-8
import urllib2
import random

url = 'http://www.lifevc.com/'

my_headers = [
  'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.04506.648)',
  'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; InfoPath.1',
  'Mozilla/4.0 (compatible; GoogleToolbar 5.0.2124.2070; Windows 6.0; MSIE 8.0.6001.18241)',
  'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)',
  'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; Sleipnir/2.9.8)',
  #因篇幅关系,此处省略N条
]

random_header = random.choice(headers)
# 可以通过print random_header查看提交的header信息
req = urllib2.Request(url)
req.add_header("User-Agent", random_header)
req.add_header('Host', 'blog.csdn.net')
req.add_header('Referer', 'http://blog.csdn.net')
req.add_header('GET', url)
content = urllib2.urlopen(req).read()
print content

登录后复制

其实很简单,这样我们就完成了对代码的一些优化.

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

热工具

热门话题

gmail邮箱登陆入口在哪里

7439

CakePHP 教程

1369

steam的账户名称是什么格式

win11激活密钥永久

显示更多

Related knowledge

C语言 sum 的作用是什么？ Apr 03, 2025 pm 02:21 PM

C语言中没有内置求和函数，需自行编写。可通过遍历数组并累加元素实现求和：循环版本：使用for循环和数组长度计算求和。指针版本：使用指针指向数组元素，通过自增指针遍历高效求和。动态分配数组版本：动态分配数组并自行管理内存，确保释放已分配内存以防止内存泄漏。

谁得到更多的Python或JavaScript？ Apr 04, 2025 am 12:09 AM

Python和JavaScript开发者的薪资没有绝对的高低，具体取决于技能和行业需求。1.Python在数据科学和机器学习领域可能薪资更高。2.JavaScript在前端和全栈开发中需求大，薪资也可观。3.影响因素包括经验、地理位置、公司规模和特定技能。

distinctIdistinguish有关系吗 Apr 03, 2025 pm 10:30 PM

distinct 和 distinguish 虽都与区分有关，但用法不同：distinct（形容词）描述事物本身的独特性，用于强调事物之间的差异；distinguish（动词）表示区分行为或能力，用于描述辨别过程。在编程中，distinct 常用于表示集合中元素的唯一性，如去重操作；distinguish 则体现在算法或函数的设计中，如区分奇数和偶数。优化时，distinct 操作应选择合适的算法和数据结构，而 distinguish 操作应优化区分逻辑效率，并注意编写清晰可读的代码。

如何理解 C 语言中的 !x？ Apr 03, 2025 pm 02:33 PM

!x 的理解!x 是 C 语言中的逻辑非运算符，对 x 的值进行布尔取反，即真变假，假变真。但要注意，C 语言中真假由数值而非布尔类型表示，非零视为真，只有 0 才视为假。因此，!x 对负数的处理与正数相同，都视为真。

C语言中 sum 是什么意思？ Apr 03, 2025 pm 02:36 PM

C语言中没有内置的sum函数用于求和，但可以通过以下方法实现：使用循环逐个累加元素；使用指针逐个访问并累加元素；对于大数据量，考虑并行计算。

H5页面制作是否需要持续维护 Apr 05, 2025 pm 11:27 PM

H5页面需要持续维护，这是因为代码漏洞、浏览器兼容性、性能优化、安全更新和用户体验提升等因素。有效维护的方法包括建立完善的测试体系、使用版本控制工具、定期监控页面性能、收集用户反馈和制定维护计划。

如何获取58同城工作页面上的实时申请和浏览人数数据？ Apr 05, 2025 am 08:06 AM

如何在爬虫时获取58同城工作页面的动态数据？在使用爬虫工具爬取58同城的某个工作页面时，可能会遇到这样�...

爱心代码复制粘贴爱心代码免费复制粘贴手机 Apr 04, 2025 am 06:48 AM

复制粘贴代码并非不可行，但需谨慎对待。代码中环境、库、版本等依赖项可能与当前项目不匹配，导致错误或不可预料的结果。务必确保上下文一致，包括文件路径、依赖库和 Python 版本。此外，复制粘贴特定库的代码时，可能需要安装该库及其依赖项。常见的错误包括路径错误、版本冲突和代码风格不一致。性能优化需根据代码原用途和约束重新设计或重构。理解并调试复制的代码至关重要，切勿盲目复制粘贴。

See all articles

使用Python的urllib和urllib2模块制作爬虫的实例教程

热AI工具

Undresser.AI Undress

AI Clothes Remover

Undress AI Tool

Clothoff.io

AI Hentai Generator

热门文章

热工具

记事本++7.3.1

SublimeText3汉化版

禅工作室 13.0.1

Dreamweaver CS6

SublimeText3 Mac版

热门话题