python - 爬虫模拟登陆网站的次数多了，一阵子变得访问不了

Question

如题。
我用的是requests的session来登陆的。
每次运行完都会用close()来关闭掉。
因为我在测试一些东西，所以我经常待程序运行完又马上运行。
用POST来登陆的时候没有带其他信息，就只带了要POST的数据。

这是不是网站的一种反爬虫机制？为什么浏览器多次访问就可以？要不要带上头部？

Answer 1

保存cookie不就行了

Answer 2

可以在請求裡加上User Agent，模擬瀏覽器存取。

Answer 3

推薦使用神箭手雲爬蟲平台開發爬蟲，支援雲端自動採集。
簡單幾行javascript 就可以實現複雜的爬蟲，同時提供許多功能函數：反反爬蟲、 js 渲染、資料發布、圖表分析、反防盜鍊等，這些在開發爬蟲過程中經常會遇到的問題都由神箭手幫你解決。