网页爬虫 - Python requests.get 爬虫 设置代理 IP地址未改变
typecho
typecho 2017-06-12 09:24:11
0
1
1195

工作需要爬取亚马逊上面的信息,但是亚马逊反爬虫太厉害,同一个IP地址会被封。
Python版本:3.6, IDE:Pycharm 2017.1
在网上查了很多资料,requests库的手册也读过,但是都是同一个方法,代码如下:

import requests
'''代理IP地址(高匿)'''
proxy = {'HTTPS': '117.85.105.170:808'}
'''head 信息'''
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36', 
    'Connection': 'keep-alive'}
'''http://icanhazip.com会返回当前的IP地址'''
p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)
print(p.text)

根据我看过的许多教程的理论,如果代理设置成功,最后显示的IP应该是代理的IP地址,但是最终还是我真实的IP地址,这样一来不就等于没有设置代理么?

typecho
typecho

Following the voice in heart.

全部回复(1)
阿神

proxies在你访问http时用http的设置,访问https时用https的设置
所以你的proxy需要同时包含http及https的配置,这样才能生效

proxy = {
    'http': 'http://117.85.105.170:808',
    'https': 'https://117.85.105.170:808'
}
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板