python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据?
迷茫
迷茫 2017-04-18 10:30:53
0
2
547

请求所需参数全部带上了,并且已带上cookies,已修改header,拿到的数据是提示刷新的HTML,如图:

原网页是动态加载的瀑布流,即往不断下拉就不断有内容呈现出来,静候大神,目前采用scrapy框架,暂时还不想上selenium+phantomjs,太重了

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

모든 응답(2)
黄舟

동적으로 로드되는 데이터의 경우 웹페이지가 아닌 ajax API를 통해 요청해야 합니다. 작업을 잘 수행하려면 먼저 도구를 갈고 닦고 F12를 잘 활용해야 합니다.

大家讲道理

이 상황은 프록시 IP 웹페이지를 가져오는 것보다 훨씬 해결하기 쉽습니다. 쿠키를 사용하지만 오류===를 보고하면 현재 페이지 내용을 완전히 판단한 다음 시뮬레이션 새로 고침을 수행할 수 있습니다~ 중요한 것은 세션을 유지하는 것입니다 .

그래도 작동하지 않으면 추천인을 추가하고 다시 시도해 보세요

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿