Wie können Speicheränderungen in der lokalen Umgebung und der Produktionsumgebung im Node-Dienst überwacht werden?

Bei der Verwendung von Node in einer Produktionsumgebung als Serversprache sind übermäßige Parallelität oder Codeprobleme, die zu OOM (nicht genügend Speicher) oder CPU-Vollauslastung führen, derzeit häufige Probleme bei der Überwachung der CPU und Speicher, kombiniert mit Protokollen und Release, ist es einfach, Probleme zu finden.

【Video-Tutorial-Empfehlung: Node-JS-Tutorial】

In diesem Kapitel wird erläutert, wie Sie die Speicheränderungen der lokalen Umgebung und der Produktionsumgebung überwachen können Speicheränderungen eines Node-Prozesses Wolltuch?

Das Folgende ist ein Beispiel für einen Knotenserver. Es handelt sich um ein Beispiel mit einem Speicherverlustproblem und um eine optimierte Version des Problems, das Shanyue seit langem in der Produktionsumgebung positioniert. Bei diesem Speicherverlustproblem schoss der Speicher in einem einzelnen Container von ursprünglich 400 MB auf 700 MB hoch und unterschritt gelegentlich die Containerressourcengrenze von 800 MB, was zu Neustarts führte. Das Problem wurde eine Zeit lang nicht gefunden (das Problem wurde zu spät entdeckt, die Zeitreihendaten vor einem halben Monat waren verschluckt worden, sodass Release nicht gefunden werden konnte), sodass das Ressourcenlimit auf 1000 MB angehoben wurde. Später stellte sich heraus, dass es dadurch verursacht wurde, dass ctx.request ein großes Feld in der Datenbank anlegte Produktionsumgebung. Dann ist es wichtig zu verstehen, wie man den Speicher lokal überwacht.

pidstat ist ein Paket der sysstat-Reihe von Linux-Leistungs-Debugging-Tools. Es wird tatsächlich zum Debuggen von Linux-Leistungsproblemen verwendet, einschließlich Speicher, Netzwerk, E/A, CPU usw .

Dies wird nicht nur mit node versucht, sondern gilt auch für alle Prozesse, einschließlich python, java und go code><blockquote> </blockquote><div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:js;toolbar:false">const Koa = require(&amp;#39;koa&amp;#39;) const app = new Koa() function getData () { return Array.from(Array(1000)).map(x =&gt; 10086) } app.use(async (ctx, next) =&gt; { ctx.data = getData() await next() }) app.use(ctx =&gt; { ctx.body = &amp;#39;hello, world&amp;#39; }) app.listen(3200, () =&gt; console.log(&amp;#39;Port: 3200&amp;#39;))</pre><div class="contentsignin">Nach dem Login kopieren</div></div><h2 id="item-2">Bevor Sie <code>pidstat verwenden, müssen Sie zuerst die pid des Prozesses finden

Anleitung Finden Sie die PID des Node-Prozesses

In node können Sie die pid des Prozesses über process.pid finden

# -r: 指输出内存指标
# -p: 指定 pid
# 1: 每一秒输出一次
# 100: 输出100次
$ pidstat -r -p pid 1 100

Man kann es zwar finden, indem man den Code >pid schreibt, aber es ist aufdringlich und nicht sehr praktisch. Wie kann man also pid auf nicht-invasive Weise finden? Es gibt zwei Möglichkeitenpidstat 是 sysstat 系列 linux 性能调试工具的一个包，竟然用它来调试 linux 的性能问题，包括内存，网络，IO，CPU 等。

这不仅试用与 node，而且适用于一切进程，包括 python，java 以及 go

> process.pid
16425

而在使用 pidstat 之前，需要先找到进程的 pid

如何找到 Node 进程的 pid

在 node 中可以通过 process.pid 来找到进程的 pid

$ node index.js shanyue

# 第一种方法：通过多余的参数快速定位 pid
$ ps -ef | grep shanyue
root     31796 23839  1 16:38 pts/5    00:00:00 node index.js shanyue

# 第二种方法：通过端口号定位 pid
lsof -i:3200
COMMAND   PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
node    31796 root   20u  IPv6 235987334      0t0  TCP *:tick-port (LISTEN)

虽然通过写代码可以找到 pid，但是具有侵入性，不太实用。那如何通过非侵入的手段找到 pid 呢？有两种办法

1. 通过多余的参数结合 ps 定位进程
2. 通过端口号结合 lsof 定位进程

$ ab -c 10000 -n 1000000 http://localhost:3200/

使用 pidstat 监控内存

从以上代码中可以知道，node 服务的 pid 为 31796，为了可以观察到内存的动态变化，再施加一个压力测试

# -r: 指输出内存指标
# -p: 指定 pid
# 1: 每一秒输出一次
# 100: 输出100次
$ pidstat -r -p 31796 1 100
Linux 3.10.0-957.21.3.el7.x86_64 (shuifeng)     2020年07月02日  _x86_64_        (2 CPU)

             UID       PID  minflt/s  majflt/s     VSZ    RSS   %MEM  Command
19时20分39秒     0     11401      0.00      0.00  566768  19800   0.12  node
19时20分40秒     0     11401      0.00      0.00  566768  19800   0.12  node
19时20分41秒     0     11401   9667.00      0.00  579024  37792   0.23  node
19时20分42秒     0     11401  11311.00      0.00  600716  59988   0.37  node
19时20分43秒     0     11401   5417.82      0.00  611420  70900   0.44  node
19时20分44秒     0     11401   3901.00      0.00  627292  85928   0.53  node
19时20分45秒     0     11401   1560.00      0.00  621660  81208   0.50  node
19时20分46秒     0     11401   2390.00      0.00  623964  83696   0.51  node
19时20分47秒     0     11401   1764.00      0.00  625500  85204   0.52  node

$ htop -p 31796

对于输出指标的含义如下

• RSS: Resident Set Size，常驻内存集，可理解为内存，这就是我们需要监控的内存指标
• VSZ: virtual size，虚拟内存

从输出可以看出，当施加了压力测试后，内存由 19M 涨到了 85M。

使用 top 监控内存

pidstat 是属于 sysstat 下的 linux 性能工具，但在 mac 中，如何定位内存的变化？

此时可以使用 top/htop

rrreee

生产环境内存监控

由于目前生产环境大都部署在 k8s，因此生产环境对于某个应用的内存监控本质上是 k8s 对于某个 workload/deployment 的内存监控，关于内存监控 metric 的数据流向大致如下:

k8s -> metric server -> prometheus -> grafana

架构图如下：

以上图片取自以下文章

• Kubernetes Monitoring with Prometheus
• Kubernetes monitoring architecture

最终能够在 grafana

1. Lokalisieren Sie den Prozess durch redundante Parameter in Kombination mit ps
2. Verwenden Sie zum Lokalisieren die Portnummer in Kombination mit lsof der Prozess

rrreee

Verwenden Sie pidstat, um den Speicher zu überwachen🎜🎜🎜🎜🎜Wie Sie dem obigen Code entnehmen können, lautet die PID des Knotendienstes 31796, um die dynamischen Veränderungen des Gedächtnisses zu beobachten und dann einen Stresstest durchzuführen🎜rrreeerrreee🎜Die Bedeutung der Ausgabeindikatoren ist wie folgt🎜

• RSS: Resident Set Size, residenter Speichersatz, der als Speicher verstanden werden kann. Dies ist der Speicherindikator, den wir überwachen müssen
• VSZ: virtuelle Größe Code>, virtueller Speicher

🎜Aus der Ausgabe können Sie erkennen, dass der Speicher nach Anwendung des Stresstests von 19 MB auf 85 MB gestiegen ist. 🎜🎜

Verwenden Sie top, um den Speicher zu überwachen🎜🎜pidstat ist ein Linux-Leistungstool unter sysstat, aber auf dem Mac finden Sie das Gedächtnisveränderungen? 🎜🎜Sie können derzeit top/htop verwenden🎜rrreee🎜🎜

Speicherüberwachung der Produktionsumgebung🎜🎜Da die meisten aktuellen Produktionsumgebungen in k8sbereitgestellt werden >,🎜so Produktion Die Speicherüberwachung einer Anwendung durch die Umgebung ist im Wesentlichen die Speicherüberwachung einer bestimmten Arbeitslast/Bereitstellung durch k8s Der Datenfluss der Speicherüberwachungs-Metrik ist ungefähr wie folgt: 🎜🎜k8s -> prometheus -> 🎜Das Architekturdiagramm sieht wie folgt aus:🎜🎜🎜🎜🎜🎜🎜Die obigen Bilder stammen aus dem folgenden Artikel 🎜

• Kubernetes-Überwachung mit Prometheus🎜
• Kubernetes-Überwachungsarchitektur🎜

🎜🎜Schließlich kann das Echtzeit-Speicherüberwachungsdiagramm einer Anwendung in grafana erfasst werden :🎜

Da es in diesem Teil zu viele Designinhalte gibt, werde ich sie in den folgenden Kapiteln vorstellen

Dies gilt nicht nur für Knotendienste, sondern gilt auch für alle Workloadsworkload

总结

本章介绍了关于 Node 服务的内存在本地环境及生产环境的监控

1、本地使用 htop/top 或者 pidstat 监控进程内存

2、生产环境使用 k8s/metric-server/prometheus/grafanaZusammenfassung

Dieses Kapitel stellt die Überwachung des Knotendienstspeichers in der lokalen Umgebung und Produktionsumgebung vor

1 Verwenden Sie lokal htop/top oder pidstat überwacht den Prozessspeicher

2. Verwenden Sie k8s/metric-server/prometheus/grafana in der Produktionsumgebung, um den Speicher der gesamten Knotenanwendung zu überwachen

Wenn ein Speicherverlust erkannt wird Wie kann das Problem in einem bestimmten Dienst gelöst werden? Daher geht es im nächsten Artikel um

1. Wie die Produktionsumgebung den Speicher der gesamten Anwendung überwacht

2. Wie man OOM schnell findet

3 die reale Produktionsumgebung 🎜 🎜Weitere Kenntnisse zum Thema Programmierung finden Sie unter: 🎜Einführung in die Programmierung🎜! ! 🎜

Das obige ist der detaillierte Inhalt vonWie können Speicheränderungen in der lokalen Umgebung und der Produktionsumgebung im Node-Dienst überwacht werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!