如何在 Python urllib2 中设置自定义用户代理以进行网页抓取？

在 urllib2 中设置用户代理

使用 urllib2.urlopen 进行网页抓取时，默认用户代理通常是Python 包名称。这可能并不总是理想的，因为网站可以根据用户代理强制实施限制。要修改用户代理，可以使用自定义 urllib2 opener。

在 Python 2.x 中，urllib2.build_opener 可用于创建一个新的 opener自定义标头，包括用户代理。以下代码片段演示了如何将用户代理更改为 Mozilla：

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')

在 Python 3 中，相当于 urllib2.build_opener 是 urllib.request.build_opener。相同的代码结构也可用于在 Python 3 中设置自定义用户代理。

以上是如何在 Python urllib2 中设置自定义用户代理以进行网页抓取？的详细内容。更多信息请关注PHP中文网其他相关文章！