python - 如何爬取百度指数的数据？

Question

百度指数的查询地址：http://index.baidu.com
比如说我输入：世界杯。查询到的结果如下：

查询到的结果数字并不是文本的形式，不知道应该如何抓取？

希望各位大神指教！

Answer 1

ajax的吧 看看ajax里的请求返回数据吧

Answer 2

F12 ，妥妥的
找 http://index.baidu.com/Interface/Search/getAllIndex/?res=azsWJCcMfgQgYQUpI2wmSz0GawFcHjoMKyIkMG0eYFYDXUspVARdQi03DiU6elRIMR0sRT8IElZhDBgYI11ZBT4xSlxdehQZNkZ1P0skBQcrDERiInxSBhEwGgMIc10aWUdVIwxREhNfZxs4PjE7Ag9eMG0PZDEQczUlA153HSY5CmNDaDRDaXMIeRhIMi5rN1YQVwoyBCVGBUQXZGJxAhdKJBhVH0pwFTRncXYfD0AUWypJLz4nJUczFw8jRXxdHRMwCxdhAHF7Fx8CKQ%3D%3D&res2=iMdY1W1TGQHmpyG9tZta9KatZf2VFnf1sQab3vylcHnlz95IvL491.2RTSXE73&startdate=2014-05-28&enddate=2014-06-26

Answer 3

大致步骤如下：

1. 首先要前往这个页面登录，获取会话 cookie；
2. 然后使用获取到的 cookie 访问指数查询的 URL（此处使用“google io”）：http://index.baidu.com/?tpl=trend&word=google+io；
3. 根据获取到页面中的 Javascript，拼接相关 AJAX 请求 URL，使用获取到的 cookie 重新请求该 URL，返回的内容即是你要的东西。

可能需要用到的第三方库：

• BeautifulSoup
• scrapy

Answer 4

百度加密了，很难抓取的。
在淘宝上看到了一家店。。。 http://t.cn/RhC1O6J

Answer 5

我们提供百度指数的实时抓取服务，请访问我们的在线demo站点：http://www.datadriver.info/scrapdata/,
我们可以免费分享详细的破解过程和算法描述，但是不提供源代码。 您也可以qq我们，2011193471

Answer 6

https://item.taobao.com/item.htm?id=42837426371

Answer 7

http://www.jianshu.com/p/361c97b4428a 免费