javascript - Python 爬虫 Ajax 页面直接request获取居然速度比selenium慢。
高洛峰
高洛峰 2017-04-18 10:32:35
0
1
591

因为在爬取的网站需要账号登陆,不方便公开。
因此我只能这样大致性的咨询,实在抱歉。

我需要爬一个目标网站的数据,发现在点击下一页时候,网址并没有改变.通过源码确定是使用了js外加ajax的样子.
通过chrome的控制台,捕获到点击下一页时候,向指定地址发送了一条带多个参数的get指令。

原先采用selenium+phantomjs的方式暴力无脑方式爬取,一个页面大概5S左右就能获取,实际用浏览器打开也是这个速度。
为了爬取大量的数据,准备改用多线程+直接requests.get目标地址的方式来采集,但是发现采集速度非常的慢,从5S降到的20s左右。

请教下,出现这样现象的原因可能是什么?
我该如何解决?
请指教

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全部回复(1)
大家讲道理

抱歉 浪费了各位的时间- -
是我开始测试的时候,周围有人再下迅雷,网络炸了。
抱歉 抱歉

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!