python - 爬虫模拟登陆网站的次数多了,一阵子变得访问不了
PHPz
PHPz 2017-04-17 17:34:11
0
3
532

如题。
我用的是requests的session来登陆的。
每次运行完都会用close()来关闭掉。
因为我在测试一些东西,所以我经常待程序运行完又马上运行。
用POST来登陆的时候没有带其他信息,就只带了要POST的数据。

这是不是网站的一种反爬虫机制?为什么浏览器多次访问就可以?要不要带上头部?

PHPz
PHPz

学习是最好的投资!

membalas semua(3)
洪涛

Simpan sahaja kuki

洪涛

Anda boleh menambah Ejen Pengguna pada permintaan untuk mensimulasikan akses penyemak imbas.

左手右手慢动作

Adalah disyorkan untuk menggunakan Archer Cloud Crawler Platform untuk membangunkan perangkak, yang menyokong pengumpulan automatik dalam awan.
Dengan hanya beberapa baris javascript, anda boleh melaksanakan perangkak yang kompleks dan menyediakan banyak fungsi berfungsi: anti-anti-crawler, rendering js, penerbitan data, analisis carta, anti-leeching, dll. Ini adalah masalah yang sering dihadapi dalam proses membangunkan perangkak. The Archer akan membantu anda menyelesaikan semuanya.

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan