node.js - nodejs爬虫如何控制请求数量?
滿天的星座
滿天的星座 2017-06-27 09:19:30
0
2
1029

在用nodejs爬取网页内容的时候,如果请求数太多,有时候会导致抛出异常,提示 too many connections等错误.请问nodejs有没有线程锁定这样的关键字或者类库?或者怎么处理比较好?先谢谢了!

滿天的星座
滿天的星座

全部回复(2)
typecho

nodejs没有sleep之类的函数。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);
ringa_lee

异步?

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!