クラスタリングとワーカースレッド - Node JS-jsチュートリアル-php.cn

Clustering and Worker Threads - Node JS

前の記事「ノード JS の内部」では、ノード JS の内部アーキテクチャについて説明し、複数のリクエストを同時に処理するためにノードのスレッドプールサイズを増やす必要がある理由についても説明しました。スケーラビリティとパフォーマンスはスレッドプールのサイズに関係がないことをお伝えしました。

スケーラビリティと高いパフォーマンスを実現するために、クラスタリングとワーカースレッドを使用できます。

クラスタリング

あなたが盛大な結婚式に出席していて、何千人ものゲストが出席しているとします。キッチンが 1 つあり、1 人のコックがゲスト全員の食事を準備しています。予測不可能だと思いますよね？料理人が 1 人しかいない場合、キッチンのリソースを最大限に活用することはできません。

これは、すべてのリクエストを処理するために 1 つのコアだけが使用されている場合に、マルチコア CPU 上で実行されている Node JS アプリケーションでまさに起こることです。したがって、私たちのマシンはマルチコアの能力を備えていますが、クラスタリングがなければ、アプリケーションは 1 コアだけで実行されます。 1 つのコアがすべての作業を処理します。

キッチンで複数の調理人が働いているとき、それがクラスタリングです。

クラスタリングは、単一ノードの JS アプリケーションが複数の CPU コアを効果的に利用できるようにするために使用される手法です。

クラスタリングを実装するには、Node JS のクラスターモジュールを使用する必要があります。

const cluster = require('cluster');

ログイン後にコピー

このクラスターモジュールを使用すると、Node JS アプリケーションの複数のインスタンスを作成できます。これらのインスタンスはワーカーと呼ばれます。すべてのワーカーは同じサーバーポートを共有し、受信リクエストを同時に処理します。

クラスターアーキテクチャには 2 種類のプロセスがあります。

1.マスタープロセス:

マスタープロセスは、従業員を管理するキッチンのメインコックのようなものです。アプリケーションを初期化し、クラスタリング環境をセットアップし、タスクをワーカープロセスに委任します。アプリケーションリクエストを直接処理しません。

マスタープロセスは何をしますか?

cluster.fork() メソッドを使用して複数のワーカープロセスを作成します。また、ワーカーがクラッシュしたり予期せず終了した場合にも、ワーカーが再起動されます。
受信リクエストがすべてのワーカープロセスに確実に分散されるようにします。 Linux では、これはオペレーティングシステムによって処理され、Windows では、Node JS 自体がロードバランサーとして機能します。
IPC(プロセス間通信)を介したワーカー間の通信を可能にします。

2.ワーカープロセス:

ワーカープロセスは、マスタープロセスによって作成された Node JS アプリケーションのインスタンスです。各プロセスは個別の CPU コアで独立して実行され、受信リクエストを処理します。

ワーカープロセスは相互に直接通信できず、マスター経由で通信します。

ワーカープロセスは受信リクエストを処理し、データベースクエリ、計算、アプリケーションロジックなどのいくつかのタスクを実行します。

const cluster = require('cluster');

ログイン後にコピー

ここでは、最初にこれがマスタープロセスであることを確認しています。「はい」の場合、ワーカープロセスが作成されます。

コードでは、cluster.fork() を使用してワーカープロセスを作成しています。

しかし、これはワーカープロセスを作成する理想的な方法ではありません。

4 つのワーカープロセスを作成しており、システムに 2 つのコアがあるとします。

ハードコーディングされたワーカープロセスを作成するのではなく、この問題を解決するには、まず CPU コアを見つけてから、データがワーカープロセスを作成すると考えます。

const cluster = require('cluster');
const os = require('os');

if (cluster.isMaster) {
  console.log(`Master ${process.pid} is running`);

  // Fork workers
    cluster.fork();
    cluster.fork();
    cluster.fork();
    cluster.fork();

} else {
  console.log(`Worker ${process.pid} is running`);
  // Worker logic (e.g., server setup) goes here
}

ログイン後にコピー

デュアルコアシステムを使用しているため、出力は次のようになります。

const cluster = require('cluster');
const os = require('os');

if (cluster.isMaster) {
  console.log(`Master ${process.pid} is running`);
  const numCPUs = os.cpus().length;

  // Fork workers
  for (let i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
} else {
  console.log(`Worker ${process.pid} is running`);
  // Worker logic (e.g., server setup) goes here
}

ログイン後にコピー

ここで、デュアルコア CPU を使用している場合、なぜ 4 つのワーカープロセスが作成されるのかという質問があります。

これは、論理コアの数が 4 であるためです。私の CPU はハイパースレッディングまたは同時マルチスレッド (SMT) をサポートしています。

ワーカースレッド

レストランでは、調理には時間がかかるため、ウェイターが注文を受け取り、その注文を調理チームに伝えます。テーブルの清掃やその他のウェイター関連の仕事が来たら、ウェイターがこれを行います。注文の準備ができたら、調理人はウェイターに料理を返し、ウェイターはその料理を顧客に提供します。

これは、ワーカースレッドに関連する同じシナリオです。大規模なデータ処理、複雑な計算、重いアルゴリズムなどの計算量の多いタスクが発生した場合、メインスレッドはこのタスクをワーカースレッドに委任します。メインスレッドではなく、ワーカーがこのタスクを実行します。

*これは役に立ちますか? *

Node JS イベントループはシングルスレッドであることがわかっており、この重い計算作業がメインスレッドによって行われる場合、イベントループはブロックされます。これらのワーカースレッドを使用する場合、これらの重いタスクはワーカースレッドに与えられ、メインスレッドではなくワーカースレッドがこれらのタスクを実行するため、イベントループがブロックされません。

ワーカースレッドはメッセージパッシングシステムを介してメインスレッドと通信でき、構造化クローン (ディープコピー) を使用してスレッド間でデータを送信できます。

ここで、ワーカースレッドの動作を模倣しようとしています。

main.js (メインスレッド)

Master 12345 is running
Worker 12346 is running
Worker 12347 is running
Worker 12348 is running
Worker 12349 is running

ログイン後にコピー

worker.js (ワーカースレッド)

const { Worker } = require('worker_threads');

function startWorker() {
  const worker = new Worker('./worker.js'); // Create a worker using worker.js

  // Listen for messages from the worker
  worker.on('message', (message) => {
    console.log('Message from worker:', message);
  });

  // Handle errors in the worker
  worker.on('error', (error) => {
    console.error('Worker error:', error);
  });

  // Handle worker exit
  worker.on('exit', (code) => {
    console.log(`Worker exited with code ${code}`);
  });

  // Send a message to the worker
  worker.postMessage({ num: 100 });
}

startWorker();

ログイン後にコピー

データに大きな構造が含まれている場合、データは深く複製されて渡されるため、パフォーマンスのオーバーヘッドが発生する可能性があります。

コードの動作

Worker クラスは、新しいスレッドを生成するために使用されます。
worker.postMessage を使用してワーカーにデータを送信し、worker.on('message', callback) でメッセージをリッスンできます。
ワーカースレッドでは、parentPort がメインスレッドと通信するためのプライマリインターフェイスです。
メインスレッド (parentPort.on('message')) からのメッセージをリッスンし、parentPort.postMessage を使用してメッセージを送り返すことができます。

出力は次のようになります: