node.js – Wie steuert der NodeJS-Crawler die Anzahl der Anfragen?

Question

Wenn Sie NodeJS zum Crawlen von Webinhalten verwenden und zu viele Anfragen vorliegen, wird manchmal eine Ausnahme ausgelöst, die zu Fehlern führt, z. B. zu vielen Verbindungen. Verfügt NodeJS über solche Schlüsselwörter oder Bibliotheken für die Thread-Sperre? Oder wie geht man besser damit um? Zunächst einmal vielen Dank!

Answer 1

nodejs没有sleep之类的函数。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);

Answer 2

async ？