网页爬虫 - 在python中使用urllib2.urlopen获取的html网页不完整

Question

http://apk.hiapk.com/appinfo/...
我想要爬取这个网页中的用户评论
但是却发现使用urllib2.urlopen（request）获取的html页面不完整

代码如图

输出如图

但是实际上这个页面里面是有东西的

请问一下为什么获取到的html不全呢

Answer 1

검색이 불완전한 것은 아닙니다. 이 페이지의 댓글은 javascript post-loading을 통해 생성됩니다. 요청한 html이 urllib2.urlopen에 반환되고 해당 페이지의 javascript가 실행되지 않습니다.

http://apk.hiapk.com/web/api.... 를 직접 요청할 수 있습니다. 이 주소는 모든 댓글을 반환할 수 있으며, 여전히 json이므로 처리가 매우 쉽습니다.