python - 爬虫在爬取网页的时候出现了302要如何解决?

Question

在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?

我设置了时间间隔,现在也不行了

Answer 1

寝る(10)
一時停止、あまり早く登りすぎないでください~

Answer 2

フロア 1 が正しいです。クロール遅延を設定します

Answer 3

簡単な解決策は、エージェントを使用することです。

大規模なクロールの場合、IP が何百回もアクセスされると、通常、検証コードがリダイレクトされますので、時間間隔の設定はあまり役に立ちません。