网页爬虫 - 在python中使用urllib2.urlopen获取的html网页不完整
阿神
阿神 2017-04-18 09:56:27
0
1
970

http://apk.hiapk.com/appinfo/...
我想要爬取这个网页中的用户评论
但是却发现使用urllib2.urlopen(request)获取的html页面不完整

代码如图

输出如图

但是实际上这个页面里面是有东西的


请问一下为什么获取到的html不全呢

阿神
阿神

闭关修行中......

全部回复(1)
Ty80

不是获取不全,这个页面的评论 是通过javascript后期加载生成的,urllib2.urlopen中返回请求的html,并不会执行页面中的javascript

你直接请求 http://apk.hiapk.com/web/api.... 这个地址就可以返回所有评论了,还是json的,好处理的很

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板