下面這篇文章跟大家介紹一下使用 nodejs 「多執行緒」處理高並發任務的方法。有一定的參考價值，有需要的朋友可以參考一下，希望對大家有幫助。
相關推薦：《nodejs影片教學》
摩爾定律是由英特爾聯合創始人戈登·摩爾(Gordon Moore)在1965 年提出的，即集成電路上可容納的元器件的數量每隔18 至24 個月就會增加一倍，性能也將提升一倍。也就是說，處理器（CPU）的效能每隔大約兩年就會翻一倍。
距離摩爾定律被提出到現在，已經過去了 50 多年。如今，隨著晶片組件的規模越來越接近單個原子的規模，要跟上摩爾定律的步伐變得越來越困難。
在2019 年，英偉達CEO 黃仁勳在ECS 展會上說：「摩爾定律過去是每5 年增長10 倍，每10 年增長100 倍。而如今，摩爾定律每年只能增長幾個百分點，每10 年可能只有2 倍。因此，摩爾定律結束了。」
單一處理器（CPU）的效能越來越接近瓶頸，想要突破這個瓶頸，則需要充分利用多線程技術，讓單一或多個CPU 可以同時執行多個線程，更快的完成電腦任務。
我們都知道，Javascript 是單執行緒語言，Nodejs 利用Javascript 的特性，使用事件驅動模型，實現了非同步I/O，而非同步I/O 的背後就是多執行緒調度。
Node 非同步I/O 的實作可以參考樸靈的《深入淺出Node.js》
在Go 語言中，可以透過創建Goroutine 來明確呼叫一條新線程，並且透過環境變數GOMAXPROCS 來控制最大並發數。
在Node 中，沒有API 可以明確建立新執行緒的，Node 實作了一些非同步I/O 的API，例如fs.readFile、http.request。這些非同步 I/O 底層是呼叫了新執行緒執行非同步任務，再利用事件驅動的模式來取得執行結果。
服務端開發、工具開發可能都會需要使用到多執行緒開發。例如使用多執行緒處理複雜的爬蟲任務，用多執行緒來處理並發請求，使用多執行緒進行檔案處理等等...
在我們使用多執行緒時，一定要控制最大同時並發數。因為不控制最大並發數，可能會導致 檔案描述子 耗盡引發的錯誤，頻寬不足引發的網路錯誤、連接埠限制引發的錯誤等等。
在 Node 中並沒有用來控制最大並發數的 API 或環境變量，所以接下來，我們就用幾行簡單的程式碼來實作。
我們先假設下面的一個需求場景，我有一個爬蟲，需要每天爬取100 篇掘金的文章，如果一篇一篇爬取的話太慢，一次爬取100 篇會因為網路連線數太多，導致很多請求直接失敗。
那我們可以來實現一下，每次請求 10 篇，分 10 次完成。這樣不僅可以把效率提升 10 倍，並且可以穩定運作。
下面來看看單一請求任務，程式碼實作如下：
const axios = require("axios");
async function singleRequest(article_id) {
// 这里我们直接使用 axios 库进行请求
const reply = await axios.post(
"https://api.juejin.cn/content_api/v1/article/detail",
{
article_id,
}
);
return reply.data;
}為了方便演示，這裡我們100 次請求的都是同一個位址，我們來建立100 個請求任務，程式碼實作如下：
// 请求任务列表
const requestFnList = new Array(100)
.fill("6909002738705629198")
.map((id) => () => singleRequest(id));接下來，我們來實作並發請求的方法。這個方法支援同時執行多個非同步任務，並且可以限制最大並發數。在任務池的一個任務執行完成後，新的非同步任務會被推入繼續執行，以確保任務池的高利用率。程式碼實作如下：
const chalk = require("chalk");
const { log } = require("console");
/**
* 执行多个异步任务
* @param {*} fnList 任务列表
* @param {*} max 最大并发数限制
* @param {*} taskName 任务名称
*/
async function concurrentRun(fnList = [], max = 5, taskName = "未命名") {
if (!fnList.length) return;
log(chalk.blue(`开始执行多个异步任务，最大并发数： ${max}`));
const replyList = []; // 收集任务执行结果
const count = fnList.length; // 总任务数量
const startTime = new Date().getTime(); // 记录任务执行开始时间
let current = 0;
// 任务执行程序
const schedule = async (index) => {
return new Promise(async (resolve) => {
const fn = fnList[index];
if (!fn) return resolve();
// 执行当前异步任务
const reply = await fn();
replyList[index] = reply;
log(`${taskName} 事务进度 ${((++current / count) * 100).toFixed(2)}% `);
// 执行完当前任务后，继续执行任务池的剩余任务
await schedule(index + max);
resolve();
});
};
// 任务池执行程序
const scheduleList = new Array(max)
.fill(0)
.map((_, index) => schedule(index));
// 使用 Promise.all 批量执行
const r = await Promise.all(scheduleList);
const cost = (new Date().getTime() - startTime) / 1000;
log(chalk.green(`执行完成，最大并发数： ${max}，耗时：${cost}s`));
return replyList;
}從上面的程式碼可以看出，使用Node 進行並發請求的關鍵就是Promise.all，Promise.all 可以同時執行多個非同步任務。
在上面的程式碼中，建立了一個長度為 max 最大並發數長度的數組，數組裡放了對應數量的非同步任務。然後使用 Promise.all 同時執行這些非同步任務，當單一非同步任務執行完成時，會在任務池取出一個新的非同步任務繼續執行，完成了效率最大化。
接下來，我們用下面這段程式碼進行執行測試（程式碼實作如下）
(async () => {
const requestFnList = new Array(100)
.fill("6909002738705629198")
.map((id) => () => singleRequest(id));
const reply = await concurrentRun(requestFnList, 10, "请求掘金文章");
})();最終執行結果如下圖所示：
到這裡，我們的並發請求就完成囉！接下來我們分別來測試不同並發的速度吧~ 首先是 1 個並發，也就是沒有並發（如下圖）
耗時 11.462 秒！當不使用並發時，任務耗時非常長，接下來我們看看在其他並發數的情況下耗時（如下圖）
從上圖可以看出，隨著我們並發數字的提高，任務執行速度越來越快！這就是高併發的優勢，可以在某些情況下提升數倍乃至數十倍的效率！
我們仔細看看上面的耗時會發現，隨著並發數的增加，耗時還是會有一個閾值，不能完全呈現倍數增加。這是因為 Node 實際上並沒有為每個任務開一個執行緒進行處理，而只是為非同步 I/O 任務開啟了新的執行緒。所以，Node 比較適合處理 I/O 密集型任務，不適合 CPU（運算）密集型任務。
到這裡，我們的使用 Node 「多執行緒」處理高並發任務就介紹完了。如果想要程式完善一點的話，還需要考慮到任務超時時間、容錯機制，大家有興趣的可以自己實現一下。
更多程式相關知識，請造訪：程式設計入門！ ！
以上是node.js「多執行緒」如何處理高並發任務？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
