python - 爬虫模拟登陆网站的次数多了,一阵子变得访问不了
PHPz
PHPz 2017-04-17 17:34:11
0
3
542

如题。
我用的是requests的session来登陆的。
每次运行完都会用close()来关闭掉。
因为我在测试一些东西,所以我经常待程序运行完又马上运行。
用POST来登陆的时候没有带其他信息,就只带了要POST的数据。

这是不是网站的一种反爬虫机制?为什么浏览器多次访问就可以?要不要带上头部?

PHPz
PHPz

学习是最好的投资!

모든 응답(3)
洪涛

쿠키만 저장하세요

洪涛

요청에 사용자 에이전트를 추가하여 브라우저 액세스를 시뮬레이션할 수 있습니다.

左手右手慢动作

클라우드에서 자동 수집을 지원하는 크롤러 개발에는 Archer Cloud Crawler Platform을 사용하는 것이 좋습니다.
단 몇 줄의 자바스크립트만으로 복잡한 크롤러를 구현하고 크롤러 방지, js 렌더링, 데이터 게시, 차트 분석, 리치 방지 등 다양한 기능을 제공할 수 있습니다. 이러한 문제는 자주 발생하는 문제입니다. 크롤러를 개발하는 과정에서 Archer가 이 모든 것을 해결하는 데 도움이 될 것입니다.

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿