如果您使用 PM2 来管理 Node.js 进程,您可能已经注意到它支持集群模式。这种模式允许 Node.js 创建多个进程。当您将集群模式下的实例数量设置为 max 时,PM2 会自动创建与服务器上可用 CPU 核心相对应的 Node 进程数。
PM2 通过利用 Node.js 的 Cluster 模块来实现这一点。该模块解决了 Node.js 的单线程特性,该特性传统上限制了其利用多个 CPU 核心的能力。但是 Cluster 模块内部是如何工作的呢?进程之间如何通信?多个进程如何监听同一个端口? Node.js 如何将请求分发到这些进程?如果您对这些问题感到好奇,请继续阅读。
Node.js 工作进程是使用 child_process.fork() 方法创建的。这意味着有一个父进程和多个子进程。代码通常如下所示:
const cluster = require('cluster'); const os = require('os'); if (cluster.isMaster) { for (let i = 0, n = os.cpus().length; i < n; i++) { cluster.fork(); } } else { // Start the application }
如果您研究过操作系统,您可能熟悉 fork() 系统调用。调用进程是父进程,而新创建的进程是子进程。这些子进程与父进程共享相同的数据段和堆栈,但它们的物理内存空间不一定共享。在 Node.js 集群中,master 进程侦听端口并将传入请求分发到 worker 进程。这涉及到解决三个核心主题:进程间通信 (IPC)、负载平衡策略和多进程端口监听。
master进程使用process.fork()创建子进程。这些进程之间的通信是通过 IPC 通道 处理的。操作系统提供了多种进程间通信的机制,例如:
消息传递
通过发送和接收消息来处理交换数据。
信号量
信号量是系统分配的状态值。缺乏控制的进程将被迫在特定的检查点停止,等待继续进行的信号。当仅限于二进制值(0 或 1)时,此机制称为“互斥锁”(互斥锁)。
管道
管道连接两个进程,允许一个进程的输出作为另一个进程的输入。这可以使用管道系统调用来创建。 | 的 | shell 脚本中的命令是这种机制的一个常见示例。
Node.js 使用基于事件的机制在父进程和子进程之间进行通信。这是父进程向子进程发送 TCP 服务器句柄的示例:
const cluster = require('cluster'); const os = require('os'); if (cluster.isMaster) { for (let i = 0, n = os.cpus().length; i < n; i++) { cluster.fork(); } } else { // Start the application }
如前所述,所有请求均由 master 进程分发。确保服务器负载在工作进程之间均匀分布需要负载平衡策略。 Node.js 默认使用 round-robin 算法。
轮询方法是 Nginx 也采用的常见负载均衡算法。它的工作原理是按顺序将传入请求分发到每个进程,从第一个进程开始,到达最后一个进程后循环返回。然而,该方法假设所有进程的处理能力相同。在请求处理时间变化较大的场景下,可能会出现负载不平衡的情况。
为了解决这个问题,Nginx 经常使用加权循环(WRR),其中服务器被分配不同的权重。选择权重最高的服务器,直到其权重减少到零,此时根据新的权重序列重新开始循环。
您可以通过设置 NODE_CLUSTER_SCHED_POLICY 环境变量或通过 cluster.setupMaster(options) 配置来调整 Node.js 中的负载均衡策略。结合 Nginx 进行多机集群和 Node.js Cluster 进行单机多进程平衡是一种常见的做法。
在 Node.js 的早期版本中,侦听同一端口的多个进程会竞争传入连接,从而导致负载分布不均匀。后来通过循环赛策略解决了这个问题。当前方法的工作原理如下:
本质上,主进程监听端口并使用定义的策略(例如,循环)将连接分配给工作进程。这种设计消除了worker之间的竞争,但要求master进程高度稳定。
本文以 PM2 的 Cluster 模式为切入点,探讨了 Node.js 的 Cluster 模块实现多进程应用程序背后的核心原理。我们重点关注三个关键方面:进程间通信、负载均衡和多进程端口监听。
通过研究Cluster模块,我们可以看到很多基本原理和算法是通用的。例如,循环算法被用于操作系统进程调度和服务器负载平衡。 master-worker架构类似于Nginx中的多进程设计。同样,信号量和管道等机制在各种编程范例中也无处不在。
虽然新技术不断涌现,但它们的基础始终如一。了解这些核心概念使我们能够自信地推断和适应新的挑战。
Leapcell 是用于 Web 托管、异步任务和 Redis 的下一代无服务器平台:
多语言支持
免费部署无限个项目
无与伦比的成本效率
简化的开发者体验
轻松的可扩展性和高性能
在文档中探索更多信息!
在 X 上关注我们:@LeapcellHQ
阅读我们的博客
以上是了解 Node.js 集群:核心概念的详细内容。更多信息请关注PHP中文网其他相关文章!