python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？

Question

请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：

原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了

Answer 1

Untuk data yang dimuatkan secara dinamik, anda harus memintanya melalui Ajax API dan bukannya pada halaman web Jika anda ingin melakukan tugas anda dengan baik, anda mesti mengasah alatan anda terlebih dahulu dan menggunakan F12 dengan baik.

Answer 2

Situasi ini lebih mudah untuk diselesaikan daripada merebut halaman web IP proksi, menggunakan kuki tetapi melaporkan ralat===, anda boleh menilai sepenuhnya kandungan halaman semasa dan kemudian melakukan penyegaran semula simulasi~ Yang penting ialah mengekalkan sesi .

Jika masih tidak berkesan, anda boleh menambah perujuk dan cuba lagi