javascript - Python 爬虫 Ajax 页面直接request获取居然速度比selenium慢。

Question

因为在爬取的网站需要账号登陆，不方便公开。
因此我只能这样大致性的咨询，实在抱歉。

我需要爬一个目标网站的数据，发现在点击下一页时候，网址并没有改变.通过源码确定是使用了js外加ajax的样子.
通过chrome的控制台，捕获到点击下一页时候，向指定地址发送了一条带多个参数的get指令。

原先采用selenium+phantomjs的方式暴力无脑方式爬取，一个页面大概5S左右就能获取，实际用浏览器打开也是这个速度。
为了爬取大量的数据，准备改用多线程+直接requests.get目标地址的方式来采集，但是发现采集速度非常的慢，从5S降到的20s左右。

请教下，出现这样现象的原因可能是什么？
我该如何解决？
请指教

Answer 1

Sorry for wasting everyone's time - -
When I started testing, someone around me downloaded Thunder again, and the network crashed.
Sorry Sorry