python - 爬虫在爬取网页的时候出现了302要如何解决?

Question

在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?

我设置了时间间隔,现在也不行了

Answer 1

잠(10)
잠깐, 너무 빨리 오르지 마세요~

Answer 2

1층 맞네요 크롤링 지연 설정

Answer 3

간단한 해결책은 에이전트를 이용하는 것입니다.

일반적으로 시간 간격을 설정하는 것은 큰 규모의 크롤링의 경우 IP에 수백 번 접속하면 인증 코드가 리디렉션되는 경우가 많습니다.