网页爬虫 - 在python中使用urllib2.urlopen获取的html网页不完整

Question

http://apk.hiapk.com/appinfo/...
我想要爬取这个网页中的用户评论
但是却发现使用urllib2.urlopen（request）获取的html页面不完整

代码如图

输出如图

但是实际上这个页面里面是有东西的

请问一下为什么获取到的html不全呢

Answer 1

不是獲取不全，這個頁面的評論 是透過javascript後期載入產生的，urllib2.urlopen中回傳請求的html，並不會執行頁面中的javascript

你直接要求 http://apk.hiapk.com/web/api.... 這個位址就可以回傳所有評論了，還是json的，好處理的很