python xpath爬虫获得新浪微博博主昵称为空
高洛峰
高洛峰 2016-11-19 14:05:17
0
1
1258

第一次用xpath写的爬虫,想获取某人关注列表的每位博主的昵称,但是用下面的代码得到的li永远是空的,为什么捏?

wKioL1guYhOjQXvkAAA8PZ7t7wQ318.png

    for i in range(1, pagenum + 1):
        urli = "http://weibo.cn/%d/follow?page=%d"%(uid,i)
        html_sample = requests.get(urli, cookies=cookie).content
        # 使用xpath获取所有昵称
        selector = etree.HTML(html_sample)
        list = selector.xpath('//table/tbody/tr/td[2]/a[1]/text()')
        for li in list:
            print nums,li
            nums += 1


高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全員に返信(1)
三叔

你打开页面源码看看就知道结构和你截图的有点区别,

    for name in selector.xpath('//table/tr/td/a[1]/text()'):
        print(name)

用BeautifulSoup也很方便

    for name in soup.find_all('table'):
        print(name.find_all('a')[1].get_text())


いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート