python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据?
迷茫
迷茫 2017-04-18 10:30:53
0
2
545

请求所需参数全部带上了,并且已带上cookies,已修改header,拿到的数据是提示刷新的HTML,如图:

原网页是动态加载的瀑布流,即往不断下拉就不断有内容呈现出来,静候大神,目前采用scrapy框架,暂时还不想上selenium+phantomjs,太重了

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

répondre à tous(2)
黄舟

Pour les données chargées dynamiquement, vous devez les demander via l'API Ajax plutôt que sur la page Web. Si vous voulez bien faire votre travail, vous devez d'abord affiner vos outils et faire bon usage de F12.

大家讲道理

Cette situation est beaucoup plus facile à résoudre que de récupérer une page Web IP proxy, en utilisant des cookies mais en signalant une erreur ===, vous pouvez juger complètement le contenu de la page actuelle puis effectuer une actualisation simulée~ L'important est de maintenir la session .

Si cela ne fonctionne toujours pas, vous pouvez ajouter un référent et réessayer

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal