Kerja saya memerlukan maklumat merangkak di Amazon, tetapi anti-crawler Amazon terlalu berkuasa dan alamat IP yang sama akan disekat.
Versi Python: 3.6, IDE: Pycharm 2017.1
Saya menyemak banyak maklumat di Internet dan membaca manual perpustakaan permintaan, tetapi semuanya adalah kaedah yang sama:
import requests
'''代理IP地址(高匿)'''
proxy = {'HTTPS': '117.85.105.170:808'}
'''head 信息'''
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36',
'Connection': 'keep-alive'}
'''http://icanhazip.com会返回当前的IP地址'''
p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)
print(p.text)
Mengikut teori banyak tutorial yang saya baca, jika proksi berjaya disiapkan, IP terakhir yang dipaparkan sepatutnya adalah alamat IP proksi, tetapi akhirnya ia tetap alamat IP sebenar saya Bukankah ini bermakna bahawa proksi tidak disediakan?
Proksi menggunakan tetapan http apabila anda mengakses tetapan http dan https apabila anda mengakses https
Jadi proksi anda perlu mengandungi konfigurasi http dan https untuk ia berkuat kuasa