curl - 使用php抓取网页数据时,速度太慢
黄舟
黄舟 2017-04-10 17:15:12
0
6
737

抓取天猫的商品列表数据,但是一页的数据量是60条商品,一页的数据量大小为530k,有效的列表数据是200k左右。
现在抓取的时间太慢了,我使用的是 curl 进行抓取,在执行curl_exec的时候,执行时间达到了7-9s

通过正则去分解列表页我觉得是做不到,好像是可以规定从多少k的数据量大小的位置进行抓取,到哪里结束??

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

membalas semua(6)
左手右手慢动作

普通的网页服务器一般不设分段下载的机制,所以也没法拆分数据。如果仅500K的内容就抓这么久,看来你需要检查CURL的配置或者网络问题了。

大家讲道理

看样子是网速问题,建议多开几个抓取进程。

迷茫

@有明 求助<!--!

伊谢尔伦

试试curl_multi

刘奇

php还想怎样

PHPzhong

你抓取tmall 抓取链接地址是哪个呢? 抓取速度如何?

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan