python - 爬虫模拟登陆网站的次数多了，一阵子变得访问不了

Question

如题。
我用的是requests的session来登陆的。
每次运行完都会用close()来关闭掉。
因为我在测试一些东西，所以我经常待程序运行完又马上运行。
用POST来登陆的时候没有带其他信息，就只带了要POST的数据。

这是不是网站的一种反爬虫机制？为什么浏览器多次访问就可以？要不要带上头部？

Answer 1

Cookie を保存するだけです

Answer 2

ユーザー エージェントをリクエストに追加して、ブラウザー アクセスをシミュレートできます。

Answer 3

クローラーを開発するには、クラウドでの自動収集をサポートする Archer Cloud Crawler Platform を使用することをお勧めします。
わずか数行の JavaScript で、複雑なクローラーを実装し、アンチクローラー、JS レンダリング、データ公開、チャート分析、アンチリーチングなどの多くの機能を提供できます。これらはよく遭遇する問題です。クローラーの開発過程では、Archer がすべてを解決するのに役立ちます。