84669 orang belajar
152542 orang belajar
20005 orang belajar
5487 orang belajar
7821 orang belajar
359900 orang belajar
3350 orang belajar
180660 orang belajar
48569 orang belajar
18603 orang belajar
40936 orang belajar
1549 orang belajar
1183 orang belajar
32909 orang belajar
我在做一只淘宝的爬虫,但是用的是香港的服务器,但是比较困惑:因为每次爬淘宝的首页时候,就自动给我跳转到香港淘宝~~导致源代码和内容都不一样~请问如果遇到这种情况要怎么处理呢?
简单来说,比如采集58同城如果我是泉州的,我想采集北京的,要怎么采集?
因为我用我的ip打开会总跳转到北京,但是直接想采集58首页的
?![图片上传中...]
ringa_lee
Lumpuhkan ubah hala, ambil permintaan sebagai contoh:
r = requests.get('http://github.com/', allow_redirects=False) r.status_code # 302 r.url # http://github.com, not https. r.headers['Location'] # https://github.com/ -- the redirect destination
Jika anda ingin mengumpul dari Beijing, masukkan sahaja nama bandar, tetapi ia dilindungi oleh PGTID
http://bj.58.com/?PGTID=0d000...
Jianyi menggunakan selenium
Kadangkala pelayan akan mengubah hala berdasarkan maklumat lokasi geografi yang sepadan dengan IP anda. Anda sepatutnya tidak mempunyai cara lain kecuali untuk mencari proksi. .
Lumpuhkan ubah hala, ambil permintaan sebagai contoh:
Jika anda ingin mengumpul dari Beijing, masukkan sahaja nama bandar, tetapi ia dilindungi oleh PGTID
http://bj.58.com/?PGTID=0d000...
Jianyi menggunakan selenium
Kadangkala pelayan akan mengubah hala berdasarkan maklumat lokasi geografi yang sepadan dengan IP anda. Anda sepatutnya tidak mempunyai cara lain kecuali untuk mencari proksi. .