Hohe Parallelität und Schnelle Reaktion entspricht zwei Kernindikatoren der Leistungsoptimierung: Durchsatz und Latenz
Bilder von: www.ctq6.cn Nutzung, Sättigung Der Kern des Leistungsproblems besteht darin, dass die Systemressourcen den Engpass erreicht haben, die Anforderungsverarbeitung jedoch nicht schnell genug ist, um weitere Anforderungen zu unterstützen. Bei der Leistungsanalyse geht es eigentlich darum, die Engpässe der Anwendung oder des Systems zu finden und zu versuchen, diese zu vermeiden oder zu lindern.
Wählen Sie Metriken zur Bewertung der Anwendungs- und Systemleistung.
Legen Sie Leistungsziele für Anwendungen und Systeme fest
Leistungsüberwachung und Alarmierung
Für unterschiedliche Leistungsprobleme sollten unterschiedliche Leistungsanalysetools ausgewählt werden. Im Folgenden werden häufig verwendete Linux-Leistungstools und die entsprechenden Arten von Leistungsproblemen analysiert. Bilder von: www.ctq6.cn
Wie sollen wir „durchschnittliche Auslastung“ verstehen? Zeiteinheitszahl, die die durchschnittliche Anzahl aktiver Prozesse angibt. Es steht nicht in direktem Zusammenhang mit der CPU-Auslastung, wie wir es traditionell verstehen.
Der unterbrechungsfreie Prozess ist ein Prozess, der sich im Kernelstatus in einem kritischen Prozess befindet (z. B. die allgemeine E/A-Antwort, die auf das Gerät wartet). Der unterbrechungsfreie Zustand ist eigentlich ein Schutzmechanismus des Systems für Prozesse und Hardwaregeräte.
Was ist die angemessene durchschnittliche Auslastung?
Überwachen Sie in der tatsächlichen Produktionsumgebung die durchschnittliche Auslastung des Systems und beurteilen Sie den Laständerungstrend anhand historischer Daten. Wenn es einen offensichtlichen Aufwärtstrend bei der Auslastung gibt, führen Sie rechtzeitig eine Analyse und Untersuchung durch. Natürlich können Sie auch einen Schwellenwert festlegen (z. B. wenn die durchschnittliche Auslastung mehr als 70 % der CPU-Anzahl beträgt).
In der Praxis verwechseln wir häufig die Konzepte der durchschnittlichen Auslastung und der CPU-Auslastung. die beiden sind nicht völlig gleichwertig:
CPU-intensive Prozesse: Eine große CPU-Auslastung führt zu einem Anstieg der durchschnittlichen Last. Zu diesem Zeitpunkt sind die beiden konsistent Die CPU-Auslastung ist nicht unbedingt hoch
Eine große Anzahl von Prozessen, die auf die CPU-Planung warten, führt zu einem Anstieg der durchschnittlichen Last. Zu diesem Zeitpunkt ist auch die CPU-Auslastung relativ hoch
Wenn die durchschnittliche Auslastung hoch ist, kann es sein, dass die CPU durch intensive Prozesse oder ausgelastete E/A-Vorgänge verursacht wird. Während einer spezifischen Analyse können Sie das Tool mpstat/pidstat kombinieren, um die Analyse der Lastquelle zu unterstützen
2CPU
CPU-Kontextwechsel (Teil 1)
CPU-Kontextwechsel besteht darin, den CPU-Kontext (CPU-Register und PC) der vorherigen Aufgabe zu speichern und dann die neue Aufgabe zu laden Kontext zu diesen Registern und dem Programmzähler und springt schließlich zu der Stelle, auf die der Programmzähler zeigt, um die neue Aufgabe auszuführen. Unter anderem wird der gespeicherte Kontext im Systemkernel gespeichert und bei einer Neuplanung der Aufgabe erneut geladen, um sicherzustellen, dass der ursprüngliche Aufgabenstatus nicht beeinträchtigt wird.
Je nach Aufgabentyp ist die CPU-Kontextumschaltung unterteilt in:
Kontextwechsel des Prozesses
Kontextwechsel des Threads
Kontextwechsel unterbrechen
Kontextwechsel Inux-Prozesse folgen Level-Berechtigungen, die den laufenden Bereich eines Prozesses aufteilen in den Kernel-Space und den User-Space. Der Übergang vom Benutzermodus zum Kernelmodus muss durch Systemaufrufe abgeschlossen werden.
Ein Systemaufrufprozess führt tatsächlich zwei CPU-Kontextwechsel durch:
Der Speicherort der Benutzermodusanweisung im CPU-Register wird zuerst gespeichert, das CPU-Register wird auf den Speicherort des Kernelmodusbefehls aktualisiert und springt zum Kernelstatus, um die Kernelaufgabe auszuführen Nachdem der Systemaufruf beendet ist, kehrt das CPU-Register in seinen ursprünglichen Zustand zurück. Speichern Sie die Benutzermodusdaten und wechseln Sie dann zum Benutzerbereich, um die Ausführung fortzusetzen.
Der Systemaufrufprozess umfasst keine Prozessbenutzermodusressourcen wie virtuellen Speicher und wechselt auch nicht den Prozess. Es unterscheidet sich vom Prozesskontextwechsel im herkömmlichen Sinne. Daher wird der Systemaufruf oft als privilegierter Moduswechsel bezeichnet
.
Der Prozess wird vom Kernel verwaltet und geplant, und der Prozesskontextwechsel kann nur im Kernel-Status erfolgen. Daher müssen im Vergleich zu Systemaufrufen vor dem Speichern des Kernelstatus und der CPU-Register des aktuellen Prozesses zunächst der virtuelle Speicher und der Stapel des Prozesses gespeichert werden. Nach dem Laden des Kernelstatus des neuen Prozesses müssen der virtuelle Speicher und der Benutzerstapel des Prozesses aktualisiert werden.
Der Prozess muss nur dann den Kontext wechseln, wenn die Ausführung auf der CPU geplant ist. Es gibt die folgenden Szenarien: CPU-Zeitscheiben werden abwechselnd zugewiesen, unzureichende Systemressourcen führen dazu, dass der Prozess hängt, der Prozess bleibt aktiv hängen Schlaffunktion und Prozesse mit hoher Priorität. Zeitscheibe zur Vorbelegung: Wenn die Hardware unterbricht, wird der Prozess auf der CPU angehalten und führt stattdessen den Interrupt-Dienst im Kernel aus.
Thread-Kontextwechsel
Der Thread-Kontextwechsel ist in zwei Typen unterteilt:
Die virtuellen Speicherressourcen bleiben während des Wechsels unverändert und nur die privaten Daten des Threads , Register usw. müssen gewechselt werden;
Der vordere und hintere Thread gehören zu unterschiedlichen Prozessen, was dem Wechsel des Prozesskontexts entspricht.
Thread-Wechsel im selben Prozess verbraucht weniger Ressourcen, was auch der Vorteil von Multithreading ist.
Interrupt-Kontextwechsel
Der Interrupt-Kontextwechsel betrifft nicht den Benutzerstatus des Prozesses, sodass der Interrupt-Kontext nur den Status enthält, der für die Ausführung des Kernel-Status-Interrupt-Dienstprogramms erforderlich ist (CPU-Register, Kernel-Stack, Hardware-Interrupt). Parameter usw.).
Die Priorität der Interrupt-Verarbeitung ist höher als die des Prozesses, sodass Interrupt-Kontextwechsel und Prozesskontextwechsel nicht gleichzeitig stattfinden
Was soll ich tun, wenn es im System eine große Anzahl unterbrechungsfreier Prozesse und Zombie-Prozesse gibt?
Prozessstatus
R Wird ausgeführt/ausführbar, was darauf hinweist, dass sich der Prozess in der Bereitschaftswarteschlange der CPU befindet, ausgeführt wird oder auf die Ausführung wartet; ein Prozess Es interagiert mit der Hardware und darf während der Interaktion nicht von anderen Prozessen unterbrochen werden.
Z Zombie, ein Zombie-Prozess, bedeutet, dass der Prozess tatsächlich beendet wurde, der übergeordnete Prozess jedoch nicht wiederhergestellt wurde seine Ressourcen;
S Unterbrechbarer Schlaf, der den Schlafzustand unterbrechen kann, bedeutet, dass der Prozess vom System angehalten wird, weil es auf ein Ereignis wartet, es wird geweckt und tritt ein R-Zustand;
I Leerlauf, Ruhezustand, wird in unterbrechungsfreien Kernel-Threads verwendet.该状态不会导致平均负载升高；
T Stop/Traced，表示进程处于暂停或跟踪状态（SIGSTOP/SIGCONT， GDB调试）；
Nach der oben genannten Optimierung ist Iowait deutlich zurückgegangen, aber die Anzahl der Zombie-Prozesse nimmt immer noch zu. Suchen Sie zunächst den übergeordneten Prozess des Zombie-Prozesses. Drucken Sie mit pstree -aps XXX den Aufrufbaum des Zombie-Prozesses aus und stellen Sie fest, dass der übergeordnete Prozess der App-Prozess ist.
Überprüfen Sie den App-Code, um zu sehen, ob das Ende des untergeordneten Prozesses korrekt behandelt wird (ob wait()/waitpid() aufgerufen wird, ob eine SIGCHILD-Signalverarbeitungsfunktion registriert ist usw.).
Wenn Sie auf einen Anstieg von Iowait stoßen, überprüfen Sie zunächst mit Tools wie dstat und pidstat, ob ein Festplatten-E/A-Problem vorliegt, und finden Sie dann heraus, welche Prozesse das E/A verursachen. Wenn Sie strace nicht verwenden können Um den Prozessaufruf direkt zu analysieren, können Sie ihn mit dem Perf-Tool analysieren.
Für das Zombie-Problem verwenden Sie pstree, um den übergeordneten Prozess zu finden, und sehen Sie sich dann den Quellcode an, um die Verarbeitungslogik für das Ende des untergeordneten Prozesses zu überprüfen.
CPU-Leistungsmetriken
CPU-Nutzung
Benutzer-CPU-Auslastung, einschließlich Benutzermodus (Benutzer) und Benutzermodus mit niedriger Priorität (nice). Wenn dieser Indikator zu hoch ist, zeigt dies an, dass die Anwendung ausgelastet ist , CPU ist Der Prozentsatz der Zeit, in der der Kernelmodus ausgeführt wird (ohne Unterbrechungen). Ein hoher Indikator zeigt an, dass der Kernel relativ ausgelastet ist /O-Interaktionszeit zwischen dem System und dem Hardwaregerät. Relativ lang / Gast-CPU gibt den Prozentsatz der von der virtuellen Maschine belegten CPU an Wenn es größer ist, bedeutet dies, dass die Systemlast höher ist
Einschließlich des freiwilligen Wechsels, wenn keine Ressourcen abgerufen werden können, und des unfreiwilligen Wechsels, wenn das System die Planung selbst erzwingt, ist eine Kernfunktion, um den normalen Betrieb von Linux sicherzustellen. Übermäßiger Wechsel verbraucht die CPU-Zeit des ursprünglich laufenden Prozesses im Register. Kernel- und virtueller Speicher sowie andere Datenspeicherung und -wiederherstellung. Durchsuchen Sie außerdem den Backstagebereich des Programmierers Xiaole für öffentliche Konten, um auf „Interviewfragen“ zu antworten und ein Überraschungsgeschenkpaket zu erhalten.
CPU-Cache-Trefferquote
CPU-Cache-Wiederverwendung: Je höher die Trefferquote, desto besser ist die Leistung. Unter diesen wird L1/L2 häufig im Single-Core-Bereich und L3 im Multi-Core-Bereich verwendet -Kern
Leistungstools
Durchschnittlicher Lastfall
Verwenden Sie zunächst die Betriebszeit, um die durchschnittliche Systemlast zu überprüfen.
Verwenden Sie mpstat und. pid nach der Beurteilung der Lastprüfungen CPUs und CPU-Auslastung pro Prozess. Finden Sie heraus, welche Prozesse eine höhere durchschnittliche Auslastung verursachen Verwenden Sie pidstat, um den freiwilligen und unfreiwilligen Kontextwechsel des Prozesses zu beobachten
Beobachten Sie abschließend den Kontextwechsel des Threads über pidstat
Bei hoher Prozess-CPU-Auslastung
Verwenden Sie zuerst top, um die CPU-Auslastung des Systems und des Prozesses anzuzeigen und zu lokalisieren den Prozess
Dann verwenden Sie perf top, um die Prozessaufrufkette zu beobachten und die spezifische Funktion zu finden Auslastung des Systems und des Prozesses, top/ Sogar pidstat kann keine Prozesse mit hoher CPU-Auslastung finden.
Überprüfen Sie die Top-Ausgabe noch einmal
Perf-Aufzeichnung/Bericht über kurzlebige Prozesse (Execsnoop-Tool)
Unterbrechungsfreie und Zombie-Prozessfälle
Verwenden Sie zuerst oben, um den Iowait-Anstieg zu beobachten, und haben Sie eine große Anzahl davon gefunden unterbrechungsfreie und Zombie-Prozesse Prozess
strace kann Prozesssystemaufrufe nicht verfolgen
Perf-Analyse-Aufrufkette hat festgestellt, dass die Ursache im direkten Festplatten-E/A liegt
Soft-Interrupt-Fall
Top-Beobachtung Die System-Soft-Interrupt-CPU-Auslastung ist hoch
Überprüfen Sie /proc/softirqs, um mehrere Soft-Interrupts mit sich schnell ändernden Raten zu finden Netzwerkpaketproblem
tcpdump findet die Art und Quelle von Netzwerk-Frames heraus und ermittelt die Ursache eines SYN-FLOOD-Angriffs
Finden Sie das richtige Tool anhand verschiedener Leistungsindikatoren:
Bild von: www. ctq6.cn
In einer Produktionsumgebung haben Entwickler oft keine Berechtigung zum Installieren neuer Toolpakete und können nur die Nutzung bereits im System installierter Tools maximieren. Daher ist es notwendig zu verstehen, welche Indikatorenanalyse einige Mainstreams durchführen Werkzeuge können bieten.
Bilder von: www.ctq6.cn
Führen Sie zunächst mehrere Tools aus, die weitere Indikatoren unterstützen, z. B. top/vmstat/pidstat. Anhand ihrer Ausgabe können Sie feststellen, um welche Art von Leistungsproblem es sich handelt. Nachdem Sie den Prozess gefunden haben, verwenden Sie strace/perf, um die Aufrufsituation zur weiteren Analyse zu analysieren. Wenn sie durch einen Soft-Interrupt verursacht wird, verwenden Sie /proc/softirqs
Bilder von: www.ctq6.cn
CPU-Optimierung
Anwendungsoptimierung
Compiler-Optimierung: Aktivieren Sie Optimierungsoptionen während der Kompilierungsphase, z. B. gcc-O2-Parallelitätsverarbeitungsfunktionen (Abfragen durch Ereignisbenachrichtigung ersetzen)
Mehrere Threads statt mehrerer Prozesse: Reduzieren Sie die Kosten für den Kontextwechsel
CPU-Bindung: Binden Sie den Prozess an 1/mehrere CPUs, verbessern Sie die CPU-Cache-Trefferrate und reduzieren Sie den durch die CPU-Planung verursachten Kontextwechsel
Prioritätsanpassung: Verwenden Sie Nice, um die Priorität von Nicht-Kernanwendungen angemessen zu reduzieren NUMA-Optimierung: Die CPU greift so weit wie möglich auf den lokalen Speicher zu Verständnis von QPS und Systemdurchsatz
QPS(TPS)??
Benutzeranforderungsserver
Interne Verarbeitung des Servers
Der Server gibt es an den Client zurück
QPS ähnelt TPS, aber ein Besuch einer Seite bildet ein TPS, aber eine Seitenanforderung kann mehrere Anforderungen umfassen an den Server, der gezählt werden kann. Geben Sie mehrere QPS ein
TPS (Transaktionen pro Sekunde), die Ergebnisse von Softwaretests
So funktioniert der Linux-Speicher Greifen Sie direkt auf den physischen Speicher zu. Der Linux-Kernel stellt für jeden Prozess einen unabhängigen virtuellen Adressraum bereit, und dieser Adressraum ist kontinuierlich. Auf diese Weise kann der Prozess problemlos auf den Speicher (virtuellen Speicher) zugreifen.
Das Innere des virtuellen Adressraums ist in zwei Teile unterteilt: Kernelraum und Benutzerraum. Der Adressraumbereich von Prozessoren mit unterschiedlichen Wortlängen ist unterschiedlich. Der 32-Bit-Systemkernel-Speicherplatz belegt 1 GB und der Benutzerspeicherplatz belegt 3 GB. Der Kernelraum und der Benutzerraum von 64-Bit-Systemen sind beide 128T groß und belegen den höchsten bzw. niedrigsten Teil des Speicherraums, und der mittlere Teil ist undefiniert.
Nicht dem gesamten virtuellen Speicher wird physischer Speicher zugewiesen, sondern nur dem tatsächlich genutzten. Der zugewiesene physische Speicher wird durch Speicherzuordnung verwaltet. Um die Speicherzuordnung abzuschließen, verwaltet der Kernel für jeden Prozess eine Seitentabelle, um die Zuordnungsbeziehung zwischen virtuellen Adressen und physischen Adressen aufzuzeichnen. Die Seitentabelle wird tatsächlich in der Speicherverwaltungseinheit MMU der CPU gespeichert, und der Prozessor kann direkt über die Hardware den Speicher ermitteln, auf den zugegriffen werden soll.
Wenn die virtuelle Adresse, auf die der Prozess zugreift, nicht in der Seitentabelle gefunden werden kann, generiert das System eine Seitenfehlerausnahme, gibt den Kernelraum ein, um physischen Speicher zuzuweisen, aktualisiert die Prozessseitentabelle und kehrt dann zum Benutzerraum zurück um den Vorgang wieder aufzunehmen.
MMU verwaltet den Speicher in Seiteneinheiten mit einer Seitengröße von 4 KB. Um das Problem zu vieler Seitentabelleneinträge zu lösen, bietet Linux die Mechanismen „Mehrstufige Seitentabelle“ und „HugePage“. Virtuelle Speicherplatzverteilung
Der Benutzerspeicher ist in fünf verschiedene Speichersegmente von niedrig nach hoch unterteilt:
Schreibgeschütztes Segment Code und Konstanten usw.
Datensegment Globale Variablen usw.
Heap Dynamisch zugewiesener Speicher, beginnend mit a niedrige Adresse und nach oben wachsen
Dateizuordnung Dynamische Bibliotheken, gemeinsam genutzter Speicher usw. beginnen bei hohen Adressen und wachsen nach unten
StackEinschließlich lokaler Variablen und Funktionsaufrufkontext usw., die Größe des Stapels ist festgelegt.Im Allgemeinen 8 MB
Speicherzuweisung und -recycling
Zuweisung
malloc entspricht dem Systemaufruf. Es gibt zwei Implementierungsmethoden:
brk() Bei kleinen Speicherblöcken (<128 KB) erfolgt die Zuweisung durch Verschieben der oberen Position des Heaps. Der Speicher wird nach der Freigabe nicht sofort zurückgegeben, sondern zwischengespeichert.
**mmap()** Weisen Sie bei großen Speicherblöcken (>128 KB) direkt die Speicherzuordnung zu, d. h., suchen Sie eine freie Speicherzuordnung im Dateizuordnungssegment.
Der Cache des ersteren kann das Auftreten von Seitenfehlerausnahmen reduzieren und die Effizienz des Speicherzugriffs verbessern. Da der Speicher jedoch nicht an das System zurückgegeben wird, führt eine häufige Speicherzuweisung/-freigabe zu einer Speicherfragmentierung, wenn der Speicher ausgelastet ist.
Letzteres wird bei der Freigabe direkt an das System zurückgegeben, sodass jedes Mal, wenn mmap auftritt, eine Seitenfehlerausnahme auftritt. Wenn die Speicherarbeit ausgelastet ist, führt die häufige Speicherzuweisung zu einer großen Anzahl von Seitenfehlerausnahmen, was die Belastung durch die Kernelverwaltung erhöht.
Die beiden oben genannten Aufrufe weisen keinen Speicher zu. Diese Speicher gelangen nur über Seitenfehlerausnahmen in den Kernel, wenn zum ersten Mal darauf zugegriffen wird, und werden vom Kernel zugewiesen
Recycling
Wenn der Speicher knapp ist, gewinnt das System Speicher auf folgende Weise zurück:
Recycling-Cache: Der LRU-Algorithmus gewinnt die zuletzt verwendeten Speicherseiten zurück;
Recycling ist selten. Greifen Sie auf den Speicher zu: Schreiben Sie selten verwendeten Speicher über die Swap-Partition auf die Festplatte Je mehr CPU es beansprucht, desto kleiner wird der oom_score. Sie können /proc manuell anpassen, um oom_adj)
echo -16 > /proc/$(pidof XXX)/oom_adj
Nach dem Login kopieren
如何查看内存使用情况
free来查看整个系统的内存使用情况
top/ps来查看某个进程的内存使用情况
VIRT Die Größe des virtuellen Speichers des Prozesses
RESDie Größe des residenten Speichers, d
SHR Größe des gemeinsam genutzten Speichers, mit anderen Prozessen geteilter Speicher, geladene dynamische Linkbibliotheken und Programmcodesegmente
%MEM Der Prozentsatz des vom Prozess verwendeten physischen Speichers am gesamten Systemspeicher
Wie versteht man Speicherpuffer und Cache?
Puffer ist ein Cache für Festplattendaten, Cache ist ein Cache für Dateidaten. Sie werden sowohl bei Leseanforderungen als auch bei Schreibanforderungen verwendet
So verwenden Sie den Systemcache, um die Betriebseffizienz des Programms zu optimieren
Cache-Trefferquote
Die Cache-Trefferquote bezieht sich auf die Anzahl der Anfragen zum Abrufen von Daten direkt über den Cache und macht den Prozentsatz aller Anfragen aus. Je höher die Trefferquote, desto höher sind die Vorteile des Caches und desto besser ist die Leistung der Anwendung.
Nach der Installation des bcc-Pakets können Sie Cache-Lese- und Schreibtreffer über Cachestat und Cachetop überwachen.
安装pcstat后可以查看文件在内存中的缓存大小以及缓存比例
#首先安装Go
export GOPATH=~/go
export PATH=~/go/bin:$PATH
go get golang.org/x/sys/unix
go ge github.com/tobert/pcstat/pcstat
Speicherleck, wie kann man es lokalisieren und beheben?
Für Anwendungen ist die dynamische Speicherzuweisung und -wiederverwendung ein zentrales und komplexes logisches Funktionsmodul. Bei der Verwaltung des Gedächtnisses passieren verschiedene „Unfälle“:
Der zugewiesene Speicher wurde nicht ordnungsgemäß zurückgefordert, was zu einem Leck führte
Auf die Adresse außerhalb der zugewiesenen Speichergrenze wurde zugegriffen, was dazu führte, dass das Programm abnormal beendet wurde
Speicherzuweisung und -recycling
Die Verteilung des virtuellen Speichers von niedrig nach hoch besteht aus schreibgeschütztem Segment, Datensegment, Heap, Speicherzuordnungssegment und Stapel fünf Teilen. Unter ihnen sind diejenigen, die Speicherverluste verursachen können:
Heap: Wird von der Anwendung selbst zugewiesen und verwaltet, sofern das Programm nicht beendet wird, werden diese Heap-Speicher nicht automatisch vom System freigegeben.
Speicherzuordnungssegment: einschließlich dynamischer Linkbibliotheken und gemeinsam genutztem Speicher, wobei gemeinsam genutzter Speicher automatisch vom Programm zugewiesen und verwaltet wird
Speicherlecks sind schädlicher. Diese vergessenen Erinnerungen werden nicht nur von verwendet Anwendungen Sie können selbst nicht darauf zugreifen und das System kann sie nicht wieder anderen Anwendungen zuordnen. Speicherlecks häufen sich und erschöpfen sogar den Systemspeicher.
So erkennen Sie Speicherlecks. Systat, Docker und BCC vorinstallieren
Cache/Puffer, eine wiederverwendbare Ressource, wird in der Dateiverwaltung normalerweise als Dateiseite bezeichnet.
Verschmutzte Seiten werden über fsync in der Anwendung mit der Festplatte synchronisiert Über zum System ist der Kernel-Thread pdflush für die Aktualisierung dieser schmutzigen Seiten verantwortlich
Die Daten (schmutzige Seiten), die von der Anwendung geändert wurden und vorerst nicht auf die Festplatte geschrieben wurden, müssen geschrieben werden Zuerst auf die Festplatte übertragen und dann den Speicher freigeben
Die durch die Zuordnung erhaltene Dateizuordnungsseite kann auch freigegeben und beim nächsten Zugriff erneut aus der Datei gelesen werden. Für den automatisch zugewiesenen Heap-Speicher Das Programm ist unsere anonyme Seite in der Speicherverwaltung, obwohl dieser Speicher nicht direkt freigegeben werden kann, aber Linux bietet einen Swap-Mechanismus, um selten aufgerufenen Speicher auf die Festplatte zu schreiben, um den Speicher freizugeben, und dann den Speicher von der Festplatte zu lesen, wenn darauf zugegriffen wird wieder.
Prinzip des Swaps
Die Essenz von Swap besteht darin, einen Teil des Speicherplatzes oder eine lokale Datei als Speicher zu verwenden, einschließlich zweier Prozesse des Ein- und Auslagerns:
Austauschen: der Speicher, der wird vom Prozess vorübergehend nicht verwendet. Die Daten werden auf der Festplatte gespeichert und der Speicher freigegeben
Einlagern: Wenn der Prozess erneut auf den Speicher zugreift, werden sie von der Festplatte in den Speicher eingelesen
Wie misst Linux, ob die Speicherressourcen knapp sind?
Direkte Speicherrückgewinnung Neue große Blockspeicherzuweisung angefordert, aber nicht genügend Speicher übrig. Zu diesem Zeitpunkt beansprucht das System einen Teil des Speichers zurück. Um die Speichernutzung zu messen, werden die drei Schwellenwerte „pages_min“, „pages_low“ und „pages_high“ definiert und darauf basierend Speicherrecyclingvorgänge durchgeführt.
Remaining Memory & lt; ist hoch, kswapd0 führt Speicherrecycling durch, bis der verbleibende Speicher >pages_low
Wenn ein Knoten nicht mehr über genügend Speicher verfügt, kann das System freie Ressourcen von anderen Knoten finden oder Speicher aus dem lokalen Speicher zurückfordern. Anpassen über /proc/sys/vm/zone_raclaim_mode.
0 bedeutet, dass Sie freie Ressourcen von anderen Knoten finden und auch Speicher aus dem lokalen Bereich zurückfordern können.
1, 2, 4 bedeutet, dass nur lokaler Speicher zurückgefordert wird, 2 bedeutet das Verschmutzte Daten können zurückgegeben werden, um Speicher zurückzugewinnen. 4 zeigt an, dass Speicher mithilfe von Swap zurückgefordert werden kann.
swappiness
Während des eigentlichen Recyclingprozesses passt Linux die Aktivität der Verwendung von Swap entsprechend der Option /proc/sys/vm/swapiness an, von 0-100. Je größer der Wert, desto aktiver Swap wird verwendet, das heißt, je kleiner der Wert ist, desto eher wird Swap verwendet, das heißt, desto wahrscheinlicher ist es, Dateiseiten zu recyceln.
So finden Sie schnell und genau Systemspeicherprobleme
Speicherleistungsindikatoren
Systemspeicherindikatoren
„Genutzter Speicher/verbleibender Speicher“ Cache: Festplatten-Lesedatei Der Seiten-Cache , der zurückgewinnbare Teil im Slab Allocator
Puffer: temporäre Speicherung von Rohplattenblöcken, speichert die auf die Festplatte zu schreibenden Daten zwischen
Prozessspeicherindikatoren
Virtueller Speicher: 5 am meisten
Residenter Speicher: Der physische Speicher, der tatsächlich vom Prozess verwendet wird, ausgenommen Swap und Shared Memory.
Shared Memory: Der mit anderen Prozessen und Code geteilte Speicher Segmente von Dynamic-Link-Bibliotheken und Programmen
Speicher auslagern: Tauschen Sie den Speicher über Swap auf die Festplatte aus. Folgen Sie der chinesischen Linux-Community
Ausnahme fehlender Seiten
kann direkt aus dem physischen Speicher zugewiesen werden.
erfordert einen Festplatten-E/A-Eingriff (z. B. Swap) und eine Ausnahme wegen fehlender Primärseite. Zu diesem Zeitpunkt wird der Speicherzugriff viel langsamer sein
Speicherleistungstool
Finden Sie das richtige Tool anhand verschiedener Leistungsindikatoren:
Bilder von: www.ctq6.cn Erinnerung LeistungsengpassFühren Sie normalerweise zuerst mehrere Leistungstools mit relativ großer Abdeckung aus, z. B. free, top, vmstat, pidstat usw.
Verwenden Sie zunächst free und top, um die Gesamtspeichernutzung des Systems zu überprüfen Führen Sie abschließend eine detaillierte Analyse durch, zum Beispiel eine Speicherzuordnungsanalyse, Cache-/Pufferanalyse, Speichernutzungsanalyse bestimmter Prozesse usw.
Gemeinsame Optimierungsideen:
Es ist am besten, Swap zu deaktivieren.
Reduzieren Sie beispielsweise die dynamische Speicherzuweisung .
Verwenden Sie Cache und Puffer so weit wie möglich, um auf die Daten zuzugreifen. Verwenden Sie beispielsweise den Stapel, um den Speicherplatz zum Speichern der zwischenzuspeichernden Daten explizit zu deklarieren, oder verwenden Sie die externe Cache-Komponente von Redis, um den Datenzugriff zu optimieren
cgroups und andere Methoden, um die Speichernutzung der zu begrenzen Versuchen Sie,
/proc/pid/oom_adj den oom_score der Kernanwendung anzupassen, um sicherzustellen, dass die Kernanwendung nicht durch OOM beendet wird, selbst wenn die Der Speicher ist knapp
Detaillierte Erklärung der vmstat-Nutzung
Der Befehl vmstat ist der gebräuchlichste Befehl. Das Linux/Unix-Überwachungstool kann den Statuswert des Servers in einem bestimmten Zeitintervall anzeigen, einschließlich der CPU-Auslastung des Servers , Speichernutzung, Swap-Status des virtuellen Speichers und E/A-Lese- und Schreibstatus.可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。
pidstat –d Intervallzeiten zählt die IO-Nutzung jedes Prozesses
pidstat –u Intervallzeiten zählt die CPU-Statistiken jedes Prozesses
pidstat –r Intervallzeiten zählt den Speicher jedes einzelnen Prozesses Informationen zur Prozessnutzung. pidstat -w Intervallzeiten. Statistiken zum Kontextwechsel jedes Prozesses
Das obige ist der detaillierte Inhalt vonZusammenfassung der Erfahrungen mit der umfassenden Optimierung der Linux-Leistung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
