selenium - 请教一下 Python 爬虫工具

Question

1)我要抓的是 Instagram 某明星的粉丝
2)Instagram pc 站使用了大量的 js 渲染
3)没写过爬虫,老板明天就要数据

我目前使用的是BeautifulSoup, selenium 和phantomjs

代码 demo 大概是

driver = webdriver.PhantomJS(self.browser)
driver.get(self.url)
driver.implicitly_wait(3)
element = driver.find_element_by_class_name("_s53mj")
element.click()
html =  driver.page_source
soup =  BeautifulSoup(html)

问题是:
1) 我不知道click 有没有执行成功, click 的元素对不对, driver 好像没有返回值给我参考
2) 即使 click 成功了, 但是他是不是只调了 js里的 click() 方法,并没有触发 target 怎么办
3)我不知道是先渲染page_source, 还是 应该先 click, 假设执行成功了 click, 是不是也不会再 source 里返回了

啊, 谢各位爬虫大佬了

Answer 1

说的是什么意思？百思不得其解啊。。。

selenium自动化，click能模仿用户点击，就跟你自己在页面上点击一样，一切都在虚拟浏览器驱动中进行。

看你的业务逻辑啊。。。比如有些数据要点击后才有，那就先click再获取源代码。