Wie Speicher- und Festplattenleistung Ihre MongoDB -Datenbank beeinflusst

Dieser Artikel wurde ursprünglich in MongoDB veröffentlicht. Vielen Dank an die Partner, die SitePoint als möglich unterstützen.

Das Verständnis der Beziehung zwischen verschiedenen internen Caches und der Festplattenleistung und der Auswirkungen dieser Beziehungen und der Anwendungsleistung kann eine Herausforderung sein. Wir haben YCSB -Benchmarks verwendet, um den Arbeitssatz (die Anzahl der im Test verwendeten Dokumente) und die Festplattenleistung zu ändern, um ihre Beziehung besser zu demonstrieren. Bei der Überprüfung der Ergebnisse werden wir einige interne MongoDB -Mechanismen einführen, um das Verständnis der gängigen Datenbankverwendungsmuster zu verbessern.

Schlüsselpunkte

1. Verständnis der Disk -Basisleistung ist entscheidend, um die gesamte Datenbankleistung zu verstehen.
2. Wartezeit und Auslastung mit hoher Festplatte weisen darauf hin, dass ein Festplatten -Engpass.
3. WiredTiger IO ist zufällig.
4. Abfragen für einen einzelnen Replikat -Set sind einzelne Thread und sequentiell.
Die Leistung
5. Die Leistung der Festplatten hängt eng mit der Arbeitssatzgröße zusammen.

Zusammenfassung

Die Haupteinflüsse der Gesamtsystemleistung besteht darin, wie sich der Arbeitssatz mit der Größe der Speicher -Engine -Cache (Speicher für das Speichern von Daten) und die Festplattenleistung (sie bietet eine physische Einschränkung für die schnelle Zugriff auf Daten) zusammen.

Mit YCSB untersuchten wir die Wechselwirkung zwischen der Datenträgerleistung und der Cache -Größe und zeigen, wie sich diese beiden Faktoren auf die Leistung auswirken. Obwohl dieser Test YCSB verwendet, können synthetische Benchmarks keine Produktions -Workloads darstellen. Die durch diese Methoden erhaltenen Latenz- und Durchsatzzahlen karten nicht der Produktionsleistung. Wir verwendeten MongoDB 3.4.10, YCSB 0,14 und MongoDB 3.6.0 Treiber für diese Tests. YCSB ist mit 16 Threads und "einheitlicher" schreibgeschützter Workloads konfiguriert.

Wir zeigen, dass das Einfügen von Arbeitssätzen in den Speicher eine optimale Anwendungsleistung liefert und wie jede Datenbank diese Grenze negativ beeinflusst, die die Latenz und den Gesamtdurchsatz negativ beeinflusst.

Verständnis von Festplattenmetriken

Bei der Betrachtung der Festplattenleistung gibt es vier wichtige Indikatoren:

1. Diskdurchsatz oder die Anzahl der Anforderungen multipliziert mit der Größe der Anfragen. Dies wird normalerweise in Megabyte pro Sekunde gemessen. Zufällige Lese- und Schreibleistung im 4KB -Bereich repräsentiert am besten Standarddatenbank Workloads. Beachten Sie, dass viele Cloud -Anbieter Diskdurchsatz oder Bandbreite einschränken.
2. Festplattenverzögerung. Unter Linux wird dies durch Warten dargestellt, d. H. Die Zeit (in Millisekunden), die aus der Anwendung auf die Zeit erfolgt, die die Daten geschrieben oder an die Anwendung zurückgegeben werden. Bei SSDs beträgt die Verzögerung normalerweise weniger als 3 Millisekunden. HDDs sind normalerweise höher als 7 Millisekunden. Eine hohe Latenz bedeutet, dass die Festplatte schwer mit einer bestimmten Arbeitsbelastung Schritt halten kann.
3. Diskolk -IOPS (Eingangs-/Ausgangsvorgänge pro Sekunde). Iostat meldet diese Metrik als TPS. Ein bestimmter Cloud -Anbieter kann eine bestimmte Anzahl von IOPS für ein bestimmtes Laufwerk garantieren. Wenn Sie diesen Schwellenwert erreichen, wird ein weiterer Zugang in die Warteschlange gestellt, was zu einem Festplattengutgpass führt. High-End-PCIe-angehängte NVME-Geräte können 1.500.000 IOPs bereitstellen, während eine typische Festplatte möglicherweise nur 150 IOPS unterstützt.
4. Festplattennutzung. Berichtet von Util in Iostat. Linux verfügt über mehrere Warteschlangen pro Gerät, um IO zu servieren. Die Nutzung zeigt an, welcher Prozentsatz dieser Warteschlangen innerhalb einer bestimmten Zeit liegt. Diese Zahl mag zwar verwirrend sein, ist jedoch ein guter Indikator für die Gesundheit der Gesamtdiskette.

TEST Disk Performance

Während Cloud -Anbieter IOPS -Schwellenwerte für ein bestimmtes Volumen und eine bestimmte Festplatte bereitstellen und die Datenträgerhersteller die erwarteten Leistungszahlen veröffentlichen, können die tatsächlichen Ergebnisse in Ihrem System variieren. Durch die Durchführung von IO -Tests kann sehr hilfreich sein, wenn ein Problem mit der beobachteten Festplattenleistung vorliegt.

Wir verwenden normalerweise FIO (flexibler IO -Tester) zum Testen. Wir haben an 10 GB Daten getestet, IOEngine ist PSYNC und der Lesebereich zwischen 4KB und 32 KB. Während die Standard -FIO -Einstellung keine WiredTiger -Workloads darstellt, haben wir festgestellt, dass diese Konfiguration eine gute Annäherung an die Nutzung von WiredTiger -Festplatten darstellt.

Alle Tests werden in drei Festplattenszenarien wiederholt:

Szene 1

Standard -Festplatteneinstellungen, die von AWS C5 IO1 100 GB Volumen bereitgestellt werden. 5000 IOPS

• 1144 IOPS / 5025 Physikalische Lesevorgänge / Sekunde / 99,85% Auslastung

Szene 2

Beschränken Sie die Festplatte auf 600 IOPS und führen Sie eine Verzögerung von 7 Millisekunden ein. Dies sollte die Leistung eines typischen Raid10 SAN mit einer Festplatte

widerspiegeln

• 134 IOPS / 150 Physische Lesevorgänge / Sek. / 95,72% Auslastung

Szene 3

Beschränken Sie die Festplatte weiter auf 150 IOPS mit einer Latenz von 7 Millisekunden. Dies sollte eine normale drehende Festplatte simulieren.

• 34 IOPS / 150 Physikalische Lesevorgänge / Sek. / 98,2% Auslastung

Abfrage Wie kann man von der Festplatte dienen?

WiredTiger Storage Engine führt seinen eigenen Cache aus. Standardmäßig beträgt die Größenänderung der WiredTiger -Cache 50% des Systemspeichers minus 1 GB, um andere Systemprozesse, Dateisystem -Caches und interne MongoDB -Vorgänge zu ermöglichen, die zusätzlichen Speicher verwenden (z. B. Erstellen von Indizes, Speichersorten, Deduplikationsergebnisse, Textbewertung, Textbewertung, Verbinden Sie die Verarbeitung und Aggregation) lassen Sie genügend Platz. Um die Leistungsverschlechterung durch Cache -Fülle zu verhindern, wird WordTiger, wenn die Nutzung 80%überschreitet, automatisch an, Daten aus dem Cache auszuwerfen. Für unsere Tests bedeutet dies, dass die gültige Cache -Größe (7634 MB - 1024MB)*. 5*.8 oder 2644MB beträgt.

Alle Abfragen werden von WiredTiger zwischengespeichert. Dies bedeutet, dass die Abfrage dazu führt, dass der Index und das Dokument über den Dateisystem -Cache in den Kabel -Cache gelesen und dann das Ergebnis zurückgeben. Überspringen Sie diesen Schritt, wenn die angeforderten Daten bereits im Cache enthalten sind.

WiredTiger verwendet Snappy -Komprimierungsalgorithmus, um standardmäßig Dokumente zu speichern. Alle aus dem Dateisystem -Cache gelesenen Daten werden dekomprimiert, bevor sie im WeuedTiger -Cache gespeichert werden. Die Indizes werden standardmäßig mit dem Präfix komprimiert und sowohl in der Festplatte als auch in WiredTiger -Cache komprimiert.

Dateisystem -Cache ist eine Betriebssystemstruktur, mit der häufig zugegriffene Dateien im Speicher zugegriffen werden, um den Zugriff zu vereinfachen. Linux ist in zwischengespeicherten Dateien sehr aktiv und versucht, alle verfügbaren Speicher mithilfe von Dateisystem -Cache zu konsumieren. Wenn mehr Speicher benötigt wird, wird der Dateisystem -Cache ausgewiesen, um mehr Speicher für die Anwendung bereitzustellen.

Dies ist ein animiertes Diagramm, das den Datenträgerzugriff auf die YCSB -Sammlung zeigt, die von 100 YCSB -Lesevorgängen erzeugt wird. Jede Operation ist eine einzelne Suche von _id für ein einzelnes Dokument.

Die obere linke Ecke repräsentiert das erste Byte in der Kabel -Sammlungsdatei. Die Festplattenposition wird nach rechts erhöht und umgibt. Jede Zeile repräsentiert ein 3,5 -MB -Segment der WiredTiger -Sammlungsdatei. Der Zugang ist in chronologischer Reihenfolge angeordnet und durch Animationsrahmen dargestellt. Der Zugang wird durch rote und grüne Quadrate dargestellt, um den aktuellen Datenträgerzugriff hervorzuheben.

3,5 MB gegenüber 4KB

Hier sehen wir, dass unsere Sammlungsdatendatei in den Speicher gelesen wird. Da die Daten im B-Tree gespeichert sind, müssen wir möglicherweise den Speicherort des Dokuments (kleiner Zugriff) finden, indem wir auf einen oder mehrere Standorte auf der Festplatte zugreifen, bevor wir unser Dokument finden und lesen können (größerer Zugriff).

Dies zeigt das typische Zugriffsmuster für MongoDB -Abfragen - es ist unwahrscheinlich, dass Dokumente auf der Festplatte nahe beieinander liegen. Dies zeigt auch, dass auch nach dem Einsetzen der Dokumente wahrscheinlich nicht an kontinuierlichen Festplattenstandorten vorliegt.

WiredTiger Storage Engine ist so konzipiert, dass sie "vollständige Lektüre": Sie wird eine Leseanforderung für alle erforderlichen Daten gleichzeitig ausgestellt. Dies führt dazu, dass wir empfehlen, die Lesungen für WiredTiger -Bereitstellungen auf Null einzuschränken, da der anschließende Zugriff wahrscheinlich nicht die zusätzlichen Daten nutzen wird, die durch Fortschrittslesungen abgerufen werden.

Arbeitssätze sind für Cache

geeignet

Für unsere ersten Tests haben wir die Datensatzanzahl auf 2 Millionen festgelegt, was zu einer Gesamtgröße der Daten und Indizes von 2,43 GB oder 92% des Cache führt.

Hier sehen wir, dass die leistungsstarke Leistung von Szene 1 76.113 Anfragen pro Sekunde beträgt. Überprüfung von Dateisystem -Cache -Statistiken haben wir festgestellt, dass der Kabel -Cache -Hit -Rate 100%, kein Zugriff und keine Bytes in den Dateisystem -Cache gelesen wird, was bedeutet, dass während des gesamten Tests kein zusätzliches E -IO erforderlich ist.

In Szenario 2 und Szenario 3 erwartungsgemäß hat die Änderung der Festplattenleistung (das Hinzufügen von 7 Millisekunden -Latenz und die Begrenzung von IOPS auf 600 oder 150) minimale Auswirkungen auf den Durchsatz (69, 579,5 bzw. 70.252 Operationen/Sekunden).

Die 99% ige Antwortverzögerung für alle drei unserer Tests lag zwischen 0,40 und 0,44 Millisekunden.

Der Arbeitssatz ist größer als der WiredTiger -Cache, ist jedoch immer noch für den Dateisystem -Cache

geeignet

Moderne Betriebssysteme -Cache auf Dateien auf Dateien zugegriffen, um eine verbesserte Leseleistung zu erhalten. Da sich die Datei bereits im Speicher befindet, führt der Zugriff auf die zwischengespeicherte Datei nicht zum physischen Lesen. Die vom Befehl Free Linux angezeigten Dateisystem -Cache -Statistik beschreibt die Größe des Dateisystem -Cache.

Als wir die Rekordzahl von 2 Mio. auf 3 Millionen erhöhten, erhöhten wir die Gesamtgröße der Daten und den Index auf 3,66 GB, 38% größer als derjenige, der allein aus dem WiredTiger -Cache -Dienst ist.

Die Metrik zeigt deutlich, dass wir durchschnittlich 548 Mbit / s in den WiredTiger -Cache lesen. Bei der Überprüfung der Dateisystem -Cache -Metrik können wir jedoch eine Trefferquote von 99,9%beobachten.

Für diesen Test begannen wir, die Leistungsrückfälle zu sehen, wobei nur 66.720 Operationen pro Sekunde durchgeführt wurden, eine Rücknahme von 8% gegenüber unserer Grundlinie, während unsere Grundlinie nur vom Wabel -Cache -Service stammte.

wie erwartet wirkt sich in diesem Fall die Verringerung der Festplattenleistung nicht wesentlich auf unseren Gesamtdurchsatz aus (64.484 bzw. 64.229 Operationen). Die Strafe für das Lesen aus dem Dateisystem -Cache ist offensichtlicher, wenn Dokumente leichter zu komprimieren sind oder wenn die CPU ein begrenzender Faktor ist.

Wir haben einen Anstieg der P99 -Latenz um 54% auf 0,53 bis 55 ms festgestellt.

Der Arbeitssatz ist etwas größer als WiredTiger und Dateisystem -Cache

Wir haben festgestellt, dass WIREDTiger- und Dateisystem -Cache zusammenarbeiten, um Daten bereitzustellen, um unsere Abfragen zu bedienen. Wenn wir jedoch die Rekordzahl von 3 Millionen auf 4 Millionen erhöhen, können wir diese Caches nicht mehr nur nutzen, um Abfragen zu dienen. Unsere Datengröße stieg auf 4,8 GB und 82% größer als unser WiredTiger -Cache.

Hier lesen wir mit 257,4 Mbit / s den WiredTiger -Cache. Unser Dateisystem-Cache-Trefferquote wird auf 93-96% reduziert, was bedeutet, dass 4-7% der Lesevorgänge zu physischen Lesevorgängen von der Festplatte führen.

Änderung der verfügbaren IOPS und der Latenz von Datenträgern hat einen enormen Einfluss auf die Leistung dieses Tests.

Die Antwortverzögerung des 99. Perzentils steigt weiter. Szene 1:19 Millisekunden, Szene 2: 171 Millisekunden, Szene 3: 770 Millisekunden, die 43 Mal, 389 Mal und 1751 -mal im Vergleich zur Situation im Cache sind.

im Vergleich zu unseren früheren Tests, die vollständig zwischengespeichert wurden, sahen wir eine Leistungsverringerung um 75%, als MongoDB volle 5000 IOPS anbietet. Szenario 2 und Szenario 3 erreichten 5139,5 bzw. 737,95 Operationen pro Sekunde und beweisen den IO -Engpass weiter.

Der Arbeitssatz ist viel größer als WiredTiger und Dateisystem -Cache

Auf 5 Millionen Datensätze wechseln, erhöhen wir die Daten und die Indexgröße auf 6,09 GB, was größer ist als unser kombinierter WiredTiger- und Dateisystem -Cache. Wir sehen unseren Durchsatz unter unserem IOPS. In diesem Fall bedienen wir immer noch 81% der Leser -Lesungen von WiredTiger aus dem Dateisystem -Cache, aber die Lesevorgänge aus dem Scheibenüberlauf sättigen unser IO. Wir sehen, dass Dateisystem -Cache -Lesegeschwindigkeiten für diesen Test 71, 8,3 und 1,9 Mbit / s betragen.

Die Antwortverzögerung des 99. Perzentils steigt weiter. Szenario 1: 22 ms, Szenario 2: 199 ms, Szenario 3: 810 ms, 52-mal, 454-mal und 1841-mal im Vergleich zur Latenz zur Reaktion in der Kache. Hier wirkt sich das Ändern von IOPS -IOPS auf unseren Durchsatz erheblich aus.

Zusammenfassung

Durch diese Testreihe haben wir zwei Hauptpunkte bewiesen.

1. Wenn der Arbeitssatz für das Zwischenspeichern geeignet ist, wirkt sich die Festplattenleistung nicht stark auf die Anwendungsleistung aus.
Die Leistung
2. Die Leistung wird schnell zu einem begrenzenden Faktor im Durchsatz, wenn der Arbeitssatz den verfügbaren Speicher überschreitet.

Verständnis, wie MongoDB Speicher und Festplatte nutzt, ist ein wichtiger Bestandteil der Anpassung der Bereitstellungsgröße und des Verständnisses der Leistung. Die interne Arbeit der WordTiger Storage Engine versucht, die Hardware optimal zu nutzen, aber Speicher und Festplatten sind zwei kritische Infrastrukturteile, die die Gesamtleistungeigenschaften der Arbeitsbelastung beeinflussen.

Häufig gestellte Fragen zur Speicher- und Festplattenleistung in MongoDB

Wie nutzt MongoDB Speicher- und Festplattenraum?

mongoDB verwendet Speicher- und Festplattenraum, um Daten zu speichern und zu verwalten. Es verwendet ein Speicher -zugeordnetes Dateisystem für den Datenspeicher, was bedeutet, dass die gesamte Datendatei in RAM eingeordnet wird. Auf diese Weise kann MongoDB große Datensätze effizient verarbeiten. Das virtuelle Speicher -Subsystemverwaltungsmanagement des Betriebssystems tauschen Daten nach Bedarf in den Speicher und aus dem Speicher aus. Andererseits wird der Speicherplatz verwendet, um Datendateien, Indizes und Protokolle zu speichern. MongoDB verteilt automatisch Speicherplatz in großen Stücken, um Schreibvorgänge zu optimieren.

Was hat die Auswirkungen der E/A -Nutzung mit hoher Festplatten in MongoDB?

E/A -Auslastung mit hoher Festplatten wird die Leistung der MongoDB -Datenbank ernsthaft beeinflussen. Es verursacht langsamere Lesen und Schreibvorgänge, die die Gesamtleistung der Anwendung verringern können. Dies ist besonders problematisch für Anwendungen, für die Datenzugriff in Echtzeit erforderlich ist. Eine hohe Scheiben -E/A -Nutzung kann auch zu einer erhöhten CPU -Verwendung führen, da das System mehr Zeit damit verbringt, Disk -Operationen zu verwalten.

Wie kann man die Nutzung des Speicherplatzes in MongoDB überwachen?

mongoDB bietet mehrere Tools zur Überwachung der Nutzung von Speicherplätzen. Der Befehl db.stats () bietet einen hochrangigen Überblick über die Datenbank, einschließlich der Gesamtgröße der Datendatei und des Index. Der Befehl db.collection.stats () enthält detailliertere Informationen zu einer bestimmten Sammlung, einschließlich der Größe der Daten und des Index. Darüber hinaus bietet MongoDB-Atlas (ein von MongoDB bereitgestellter Datenbank-AS-A-Service-Produkt) einen umfassenden Satz von Überwachungstools, einschließlich Warnungen bei der Nutzung mit hohem Speicherplatz.

Wie löst ich die Nutzung von Hochplatten in MongoDB?

Es gibt mehrere Strategien, um die Auslastung der Hochdiskette in der MongoDB zu beheben. Eine Möglichkeit besteht darin, unnötige Daten oder Sammlungen zu löschen. Ein anderer Ansatz ist die Verwendung des Kompaktbefehls, der die Datendateien entfärbt und den nicht verwendeten Speicherplatz recycelt. Dieser Befehl erfordert jedoch viel freier Speicherplatz und kann die Datenbankleistung beeinflussen. Sharding (verteilt Daten auf mehrere Server) kann auch dazu beitragen, die Nutzung von Speicherplätzen zu verwalten.

Was ist ein RAM -Laufwerk und wie hat er mit MongoDB zu tun?

Das RAM -Laufwerk ist ein Speicherstück, das das Betriebssystem als Festplattenlaufwerk betrachtet. Da RAM viel schneller als Diskspeicher ist, kann die Verwendung von RAM-Laufwerken die Leistung von Anwendungen, die einen Hochgeschwindigkeits-Datenzugriff erfordern, erheblich verbessern. Da RAM jedoch volatil ist, gehen die im RAM -Laufwerk gespeicherten Daten beim Neustart des Systems verloren. Im Kontext von MongoDB können RAM -Laufwerke verwendet werden, um häufig auf Daten oder Indizes für eine verbesserte Leistung zugegriffen zu werden. Dies sollte jedoch mit Vorsicht erfolgen, da der Datenverlust auftreten kann, wenn das System neu startet.

Wie handelt es sich bei MongoDB mit Speicherverwaltung?

mongoDB stützt sich auf das zugrunde liegende Betriebssystem für die Speicherverwaltung. Es verwendet Dateisysteme für Speichergepackte, sodass das virtuelle Speicher -Subsystem des Betriebssystems die Details der Daten im Speicher sowie Daten auf der Festplatte verwaltet. Dieser Ansatz ermöglicht es MongoDB, große Datensätze effizient zu verarbeiten, bedeutet jedoch auch, dass die Speicherverwendung von MongoDB durch andere auf demselbe System ausgeführte Prozesse beeinflusst werden kann.

Wie optimieren Sie die Speicherverwendung von MongoDB?

Es gibt mehrere Strategien, um die Speicherverwendung von MongoDB zu optimieren. Eine Möglichkeit besteht darin, sicherzustellen, dass Ihr Arbeitssatz für den Speicher geeignet ist. Arbeitssätze werden häufig auf Teile von Daten zugegriffen. Wenn Ihr Arbeitssatz für den Speicher geeignet ist, kann MongoDB teure Scheiben -E/A -Operationen vermeiden. Ein anderer Ansatz ist die effiziente Verwendung von Indizes. Indizes können die Abfrageleistung erheblich verbessern, sie können jedoch auch Speicher verbrauchen. Daher ist es wichtig, Indizes mit Bedacht zu erstellen und ihre Auswirkungen auf den Speicherverbrauch zu überwachen.

Wie handelt es sich bei MongoDB mit Scheiben -E/A -Operationen?

mongoDB verwendet Write-Pre-Logs, um die Datenintegrität zu gewährleisten. Sie werden zuerst in das Protokoll geschrieben, bevor Änderungen an der Datendatei vorgenommen werden. Dies ermöglicht es MongoDB, sich von einem Absturz oder Stromausfall zu erholen. Die Protokollierung kann jedoch auch die Scheiben -E/A -Operationen erhöhen, was die Leistung beeinflussen kann. Daher ist es wichtig, die Scheiben -E/A -Nutzung zu überwachen und Maßnahmen zu ergreifen, um sie bei Bedarf zu optimieren.

Wie optimieren Sie die Festplatten -E/A -Operationen von MongoDB?

Es gibt mehrere Strategien zur Optimierung der Festplatten -E/A -Operationen von MongoDB. Eine Möglichkeit besteht darin, eine SSD zu verwenden, die mehr IOPS als herkömmliche Festplatten bewältigen kann. Ein weiterer Ansatz ist die Verwendung einer RAID -Konfiguration, die für Schreibvorgänge optimiert ist. Darüber hinaus können Sie die Protokollierungseinstellungen von MongoDB einstellen, um die Auswirkungen auf die Datenträger -E/A zu verringern. Dies sollte jedoch mit Vorsicht erfolgen, da dies die Datenintegrität beeinflussen kann.

Wie wirkt sich die Speicher- und Festplattenleistung auf die Gesamtleistung der MongoDB -Datenbank aus?

Speicher- und Festplattenleistung sind Schlüsselfaktoren für die Gesamtleistung von MongoDB -Datenbanken. Wenn Ihr Arbeitssatz für den Speicher geeignet ist, kann MongoDB kostspielige Scheiben -E/A -Operationen vermeiden, was die Leistung erheblich verbessern kann. Ebenso können effektive Disk -I/A -Operationen die Leistung von Schreibvorgängen verbessern und die Datenintegrität sicherstellen. Daher ist es wichtig, die Speicher- und Festplattenleistung zu überwachen und zu optimieren, um die beste Leistung von MongoDB -Datenbanken zu gewährleisten.

Das obige ist der detaillierte Inhalt vonWie Speicher- und Festplattenleistung Ihre MongoDB -Datenbank beeinflusst. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!