javascript - 如何抓取js渲染的数据
PHP中文网
PHP中文网 2017-04-10 14:41:04
0
1
375

如题,抓取的时候发现现在很多网站为了效果,一些数据都是用js来渲染,比如下拉加载。

这种情况如果抓取的话,是怎么解决的呢?

看网上有人说用HtmlUnit ,这个貌似最多只能抓取js渲染出来的数据,解决不了下拉加载的问题。

难道真的要对不同的页面进行有针对性的分析,然后解析url,或者ajax的请求?

oh,My God!

有没有大牛有更好的解决方案,或者成熟的抓取框架?

已有类似问题:
【PHP】【.NET】【JS】【AJAX】关于抓取网页源代码的问题
http://segmentfault.com/q/1010000000581910

PHP中文网
PHP中文网

认证0级讲师

모든 응답(1)
左手右手慢动作

可以在headless的浏览器运行网页的JS代码,在原有网页上注入相应的JS代码来显示隐藏的内容.相关回答:

http://segmentfault.com/q/1010000000410491/a-1020000000410652

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿