python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？

Question

请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：

原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了

Answer 1

動態載入的資料你應該找ajax api請求，而不是在網頁找，工欲善其事必先利其器，善用 F12。

Answer 2

這種情況比抓取一個代理ip網頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當前頁面內容然後進行模擬刷新～ 重要的是保持會話。

如果還不行的話，可以加referer再試一次