PHP采集超时

WBOY
Lepaskan: 2016-06-06 20:27:04
asal
1347 orang telah melayarinya

写了一个api数据采集的php程序放到服务器,但是数据量巨大,总是会采集超时。请问可以有什么解决方案?有没有办法设置超时之后自动刷新,从断点重新开始运行程序?

PHP采集超时

回复内容:

写了一个api数据采集的php程序放到服务器,但是数据量巨大,总是会采集超时。请问可以有什么解决方案?有没有办法设置超时之后自动刷新,从断点重新开始运行程序?

PHP采集超时

采集工作不要使用浏览器进行程序访问 , 使用命令行模式没有超时的情况, 但是使用命令行模式要注意内存的释放,否则会有存在内存溢出的错误, 如果使用浏览器进行程序执行入口 需要增加分页跳转功能, 采集完几个地址后自动跳转一下, 这样就避免超时了 set_time_limit 如果可以调的话可以调的大一点
(补充一点:超时后自动刷新这个没办法实现,超时了程序就已经终止了,只能认为刷新, 从断点开始继续采集这个是有办法的, 每次采集开始时记录一下当前采集链接,结束时把当前采集链接状态设为完成状态,重新开始采集的时候程序自动检测一下这个日志,从有记录的地方开始采集就可以了)

我博客专门有一篇PHP并行采集的文章 比一般的效率高很多
连接: http://rrtry.top/%E7%BD%91%E7%AB%99%E6%8A%80%E6%9C%AF/20.html

set_time_limit(0); 可以不超时
超时自动刷新的话 没做过 感觉需要用脚本结合PHP返回数据实现

上午刚采集完一大坨数据,用cli模式撒。
PHP采集超时

Label berkaitan:
php
sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan