网页爬虫 - 在python中使用urllib2.urlopen获取的html网页不完整

Question

http://apk.hiapk.com/appinfo/...
我想要爬取这个网页中的用户评论
但是却发现使用urllib2.urlopen（request）获取的html页面不完整

代码如图

输出如图

但是实际上这个页面里面是有东西的

请问一下为什么获取到的html不全呢

Answer 1

このページのコメントは JavaScript のポストロードによって生成されており、要求された HTML は urllib2.urlopen に返され、ページ内の JavaScript は実行されません。

http://apk.hiapk.com/web/api.... を直接リクエストできます。このアドレスはすべてのコメントを返すことができ、依然として json であるため、非常に簡単に処理できます