python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？

Question

请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：

原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了

Answer 1

동적으로 로드되는 데이터의 경우 웹페이지가 아닌 ajax API를 통해 요청해야 합니다. 작업을 잘 수행하려면 먼저 도구를 갈고 닦고 F12를 잘 활용해야 합니다.

Answer 2

이 상황은 프록시 IP 웹페이지를 가져오는 것보다 훨씬 해결하기 쉽습니다. 쿠키를 사용하지만 오류===를 보고하면 현재 페이지 내용을 완전히 판단한 다음 시뮬레이션 새로 고침을 수행할 수 있습니다~ 중요한 것은 세션을 유지하는 것입니다 .

그래도 작동하지 않으면 추천인을 추가하고 다시 시도해 보세요