Eine ausführliche Erklärung von MySql-Tabellen, Datenbanken, Shards und Partitionen

                                                                                                               

1. Vorwort 的 Nachdem die Datenmenge der Datenbank einen bestimmten Grad erreicht hat, um Engpässe bei der Systemleistung zu vermeiden. Daten müssen mithilfe von Partitionierung, Sharding, Datenbanken und Tabellen verarbeitet werden.

2. Sharding (ähnlich wie Sharding)

Sharding ist eine effektive Möglichkeit, die Datenbank auf mehrere physische Knoten zu skalieren. Sein Hauptzweck besteht darin, die Einschränkungen der E/A-Datenbankserver zu überwinden Probleme mit der Datenbankskalierbarkeit. Das Wort Shard bedeutet „Fragment“. Wenn eine Datenbank als großes Stück Glas behandelt wird und das Glas zerbricht, dann wird jedes kleine Stück als Fragment der Datenbank (Datenbank-Shard) bezeichnet. Der Vorgang, bei dem die gesamte Datenbank in Teile zerlegt wird, wird als Sharding bezeichnet und kann mit „Sharding“ übersetzt werden. Formal kann Sharding einfach als Partitionierungsschema definiert werden, das eine große Datenbank auf mehrere physische Knoten verteilt. Jede Partition enthält einen bestimmten Teil der Datenbank, einen sogenannten Slice. Die Partitionierungsmethode kann beliebig sein und ist nicht auf die herkömmliche horizontale und vertikale Partitionierung beschränkt. Ein Shard kann den Inhalt mehrerer Tabellen oder sogar mehrerer Datenbankinstanzen enthalten. Jeder Shard wird auf einem Datenbankserver platziert. Ein Datenbankserver kann einen oder mehrere Daten-Shards verarbeiten. Für die Abfrageweiterleitung und -weiterleitung ist im System ein Server erforderlich, der für die Weiterleitung der Abfrage an den Shard oder Shard-Sammelknoten verantwortlich ist, der die Daten enthält, auf die die Abfrage zur Ausführung zugreift.

3. Scale Out/Scale Up und Vertical Splitting/Horizontal Splitting

Zu den Erweiterungslösungen von MySQL gehören Scale Out und Scale Up. Scale Out (horizontale Erweiterung) bedeutet, dass die Anwendung in horizontaler Richtung erweitert werden kann. Im Allgemeinen bedeutet Scale-out für Rechenzentrumsanwendungen, dass die Anwendung die Ressourcen dieser Maschinen immer noch sinnvoll nutzen kann, wenn weitere Maschinen hinzugefügt werden, um ihre eigene Effizienz zu verbessern und eine gute Skalierbarkeit zu erreichen.

Scale Up (vertikale Erweiterung) bedeutet, dass die Anwendung in vertikaler Richtung erweitert werden kann. Im Allgemeinen lohnt sich die Skalierung für eine einzelne Maschine, wenn ein Rechenknoten (eine Maschine) mehr CPU-Kerne und Speichergeräte hinzufügt und größeren Speicher verwendet. Dadurch kann die Anwendung diese Ressourcen vollständig nutzen gute Skalierbarkeit.

Die Sharding-Strategie von MySql umfasst vertikales Sharding und horizontales Sharding.

Vertikale (vertikale) Aufteilung: Bezieht sich auf die Aufteilung nach Funktionsmodulen, um den Io-Wettbewerb zwischen Tabellen zu lösen. Es ist beispielsweise in Bestelldatenbank, Produktdatenbank, Benutzerdatenbank usw. unterteilt. Auf diese Weise sind die Tabellenstrukturen mehrerer Datenbanken unterschiedlich.

Horizontale (horizontale) Aufteilung: Speichern Sie die Daten derselben Tabelle in Blöcken und speichern Sie sie in verschiedenen Datenbanken, um den Druck des zunehmenden Datenvolumens in einer einzelnen Tabelle zu lösen. Die Tabellenstrukturen in diesen Datenbanken sind genau gleich.

Das Design der Tischstruktur ist vertikal unterteilt. Zu den häufigsten Szenarien gehört die vertikale Segmentierung großer Felder. Bauen Sie große Felder separat in einer anderen Tabelle auf, um die Zugriffsleistung der Basistabelle zu verbessern. Bei leistungskritischen Anwendungen sollten große Felder grundsätzlich vermieden werden. Beispielsweise können Unternehmensmaterialattribute vertikal nach Basisattributen, Verkaufsattributen, Einkaufsattributen, Fertigungsattributen, Finanzbuchhaltungsattributen usw. segmentiert werden. Vertikal segmentiert nach Zugriffshäufigkeit. Wenn beispielsweise in E-Commerce- und Web 2.0-Systemen viele Benutzerattributeinstellungen vorhanden sind, können grundlegende, häufig verwendete Attribute und selten verwendete Attribute vertikal getrennt und das Tabellenstrukturdesign horizontal unterteilt werden. Einige häufige Szenarien umfassen:

Auf einer Online-E-Commerce-Website ist die Menge der Bestelltabellendaten beispielsweise zu groß und sie sind nach Jahres- und Monatsebene unterteilt.

• Web 2.0-Website viele registrierte Benutzer und online aktive Benutzer, entsprechend dem Benutzer-ID-Bereich usw. Methode, horizontale Segmentierung verwandter Benutzer und Tabellen, die eng mit dem Benutzer verbunden sind

• Zum Beispiel der Top-Beitrag im Forum, da es sich um Paging-Probleme handelt, Auf jeder Seite muss der Top-Beitrag angezeigt werden. In diesem Fall kann der Top-Beitrag horizontal unterteilt werden. Bitte vermeiden Sie es, beim Abrufen des angehefteten Beitrags aus der Tabelle aller Beiträge zu lesen

4. Untertabelle und Unterteilung

Oberflächlich betrachtet bedeutet Untertabelle die Aufteilung einer Tabelle in mehrere kleine Tabellen, und Partitionierung bedeutet die Aufteilung einer Tabelle in mehrere kleine Tabellen. Diese Blöcke können sich auf derselben Festplatte oder auf verschiedenen Festplatten befinden.

• Der Unterschied zwischen geteilten Tabellen und Partitionen

• In Bezug auf die Implementierungsmethode sind die geteilten Tabellen von MySQL echte geteilte Tabellen. Jede kleine Tabelle ist eine vollständige Tabelle in drei Dateien (MyISAM-Engine: eine .MYD-Datendatei, eine .MYI-Indexdatei und eine .frm-Tabellenstrukturdatei).
  • In Bezug auf die Datenverarbeitung

  Nach der Aufteilung in Tabellen werden die Daten in den geteilten Tabellen gespeichert. Die Haupttabelle ist nur eine Hülle, und der Datenzugriff erfolgt in jeder geteilten Tabelle. Bei der Partitionierung gibt es kein Konzept der Tabellenpartitionierung. Die Partitionstabelle ist immer noch eine Tabelle und die Datenverarbeitung wird immer noch von Ihnen selbst durchgeführt.

  • Verbesserung der Leistung

  Nach der Aufteilung von Tabellen wurde die Parallelitätsfähigkeit einer einzelnen Tabelle verbessert und auch die Festplatten-E/A-Leistung wurde verbessert. Die Partition durchbricht den E/A-Engpass der Festplatte und ich möchte die Lese- und Schreibfähigkeiten der Festplatte verbessern, um die MySQL-Leistung zu erhöhen.

  Zu diesem Zeitpunkt liegen die Testschwerpunkte von Partitionen und Untertabellen darin, wie die Parallelität von MySQL beim Zugriff auf Daten verbessert werden kann und wie die Lese- und Schreibfähigkeiten von Partitionen durchbrochen werden können die Festplatte, wodurch die Leistung von MySQL verbessert wird.

  • Es gibt viele Möglichkeiten, Tabellen im Hinblick auf die Schwierigkeit der Implementierung zu unterteilen. Die Verwendung von Merge zum Unterteilen von Tabellen ist die einfachste. Diese Methode ist ungefähr so ​​einfach wie das Partitionieren und kann für den Programmcode transparent sein. Wenn Sie andere Tabellenpartitionierungsmethoden verwenden, ist dies problematischer als die Partitionierung. Die Implementierung der Partitionierung ist relativ einfach. Das Erstellen einer partitionierten Tabelle unterscheidet sich nicht vom Erstellen einer gewöhnlichen Tabelle und ist für die Codeseite transparent.
  Anwendbare Szenarien für die Partitionierung
  Wenn die Abfragegeschwindigkeit einer Tabelle langsam genug war, um ihre Verwendung zu beeinträchtigen.

  1. Die Daten in der Tabelle sind segmentiert.

  2. Operationen an Daten betreffen oft nur einen Teil der Daten, nicht alle Daten.

  3. CREATE TABLE sales (
     
         id INT AUTO_INCREMENT,
     
         amount DOUBLE NOT NULL,
     
         order_day DATETIME NOT NULL,
     
         PRIMARY KEY(id, order_day)) ENGINE=InnodbPARTITION BY RANGE(YEAR(order_day)) (
     
         PARTITION p_2010 VALUES LESS THAN (2010),
     
         PARTITION p_2011 VALUES LESS THAN (2011),
     
         PARTITION p_2012 VALUES LESS THAN (2012),PARTITION p_catchall VALUES LESS THAN MAXVALUE);

  Anwendbare Szenarien für Untertabellen Die Abfragegeschwindigkeit war so langsam, dass sich dies auf die Nutzung auswirkt.
  Beim häufigen Einfügen oder Zusammenführen von Abfragen verlangsamt sich die Geschwindigkeit.

  1. Die Implementierung von Untertabellen erfordert eine Kombination aus Geschäftsimplementierung und Migration, was relativ komplex ist.

  2. 5. Tabellen-Sharding und Sharding-Datenbank
  Tabellen-Sharding kann das Problem der verringerten Abfrageeffizienz durch übermäßiges Datenvolumen in einer einzelnen Tabelle lösen, kann jedoch keine qualitative Verbesserung der gleichzeitigen Verarbeitungsfähigkeiten der Datenbank bewirken. Angesichts des stark gleichzeitigen Lese- und Schreibzugriffs ist es sinnlos, den Slave-Server zu erweitern, wenn der Datenbank-Masterserver dem Druck von Schreibvorgängen nicht standhalten kann. Daher müssen wir unsere Denkweise ändern und die Datenbank aufteilen, um die Schreibfähigkeit der Datenbank zu verbessern. Dies ist die sogenannte Unterdatenbank.
  Ähnlich wie bei der Sharding-Strategie kann beim Sharding ein Schlüsselwort-Modulo verwendet werden, um den Datenzugriff weiterzuleiten, wie in der folgenden Abbildung dargestellt. 6. Der Unterschied zwischen Partitionierung und Sharding. Originaltext:
  MySQL-Video-Tutorial

  "

Das obige ist der detaillierte Inhalt vonEine ausführliche Erklärung von MySql-Tabellen, Datenbanken, Shards und Partitionen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!