Implementierung der Redis-Partition

Partitionierung ist der Prozess der Aufteilung von Daten in mehrere Redis-Instanzen, sodass jede Instanz nur eine Teilmenge von Schlüsseln speichert. In diesem Artikel erfahren Sie, wie Redis die Partitionierung implementiert.

Warum brauchen wir eine Zoneneinteilung? Was war der Beweggrund für die Teilung? Im Allgemeinen sind die Vorteile der Redis-Partitionierung ungefähr wie folgt: 1. Die Netzwerk-E/A-Funktionen und Rechenressourcen von Redis sind begrenzt und Anfragen werden auf mehrere Maschinen verteilt Die vollständige Nutzung der Rechenleistung und Netzwerkbandbreite mehrerer Maschinen trägt dazu bei, die allgemeinen Servicefunktionen von Redis zu verbessern.

2. Horizontale Erweiterung des Speichers Auch wenn die Servicefunktionen von Redis die Anwendungsanforderungen erfüllen können, ist eine einzelne Maschine durch die Speicherkapazität der Maschine selbst begrenzt und die Daten werden verteilt Durch den oberen Speicher kann der Redis-Dienst horizontal skaliert werden.

Im Allgemeinen ist das Problem, dass wir durch die Hardware-Ressourcen eines einzelnen Computers begrenzt sind, durch die Partitionierung kein Problem mehr. Nicht genügend Rechenressourcen? Nicht genügend Bandbreite? Wir alle können diese Probleme lösen, indem wir mehr Maschinen hinzufügen.

Grundlagen der Redis-Partition

Es gibt viele spezifische Strategien für die Partitionierung in tatsächlichen Anwendungen. Nehmen wir beispielsweise an, wir haben bereits einen Satz von vier Redis-Instanzen, nämlich R0, R1 , R2, R3. Darüber hinaus haben wir einen Stapel von Schlüsseln, die Benutzer darstellen, wie zum Beispiel: Benutzer:1, Benutzer:2 usw. Die Zahl nach „Benutzer:“ stellt die ID des Benutzers dar Diese Schlüssel werden in vier verschiedenen Redis-Instanzen gespeichert.

Wie geht das? Der einfachste Weg ist die Bereichspartitionierung. Schauen wir uns an, wie man das auf Basis der Bereichspartitionierung macht.

Bereichspartitionierung

Die sogenannte Bereichspartitionierung besteht darin, alle Schlüssel in einem Bereich derselben Redis-Instanz zuzuordnen. Beim Hinzufügen des Datensatzes handelt es sich weiterhin um die Benutzerdaten Wie oben erwähnt, lautet die spezifische Methode wie folgt:

Wir können Benutzerdaten mit Benutzer-IDs von 0 bis 10000 R0-Instanzen zuordnen und Objekte mit Benutzer-IDs von 10001 bis 20000 R1-Instanzen usw. zuordnen.

Obwohl diese Methode einfach ist, ist sie in praktischen Anwendungen sehr effektiv, es gibt jedoch immer noch Probleme:

1. Wir benötigen eine Tabelle, die zum Speichern der Zuordnungsbeziehung zwischen verwendet wird Benutzer-ID-Bereich und Redis-Instanz. Beispielsweise wird die Benutzer-ID 0-10000 der R0-Instanz zugeordnet.

2. Wir müssen diese Tabelle nicht nur pflegen, sondern wir benötigen auch eine solche Tabelle für jeden Objekttyp. Wenn wir beispielsweise Bestellinformationen speichern, werden wir eine andere Zuordnung vornehmen Tabelle muss erstellt werden.

3. Was passiert, wenn der Schlüssel der Daten, die wir speichern möchten, nicht nach dem Bereich unterteilt werden kann? Beispielsweise ist es schwierig, die Bereichspartitionierung zu verwenden.

Hash-Partitionierung

Ein offensichtlicher Vorteil der Hash-Partitionierung gegenüber der Bereichspartitionierung besteht darin, dass die Hash-Partitionierung im Gegensatz zur Bereichspartitionierung für jede Schlüsselform geeignet ist ist Objektname:, und die Partitionierungsmethode ist auch sehr einfach. Sie kann durch eine Formel ausgedrückt werden:

id=hash(key)%N

wobei id die Nummer der Redis-Instanz darstellt. Die Formel beschreibt den ersten Schritt Schlüssel und eine Hash-Funktion (z. B. crc32-Funktion) berechnet einen numerischen Wert. Dem obigen Beispiel folgend ist der erste Schlüssel, den wir verarbeiten möchten, Benutzer:1, und das Ergebnis des Hashs (Benutzer:1) ist 93024922.

Dann ist das Hash-Ergebnis Modulo. Der Zweck von Modulo besteht darin, einen Wert zwischen 0 und 3 zu berechnen, sodass dieser Wert einer unserer Redis-Instanzen zugeordnet werden kann. Wenn das Ergebnis von 93024922%4 beispielsweise 2 ist, wissen wir, dass foobar auf R2 gespeichert wird.

Verschiedene Partitionsimplementierungen

Partitionierung kann in verschiedenen Teilen des Redis-Software-Stacks implementiert werden:

Client-Implementierung

Client-Implementierung bedeutet, dass der Schlüssel bestimmt, in welcher Redis-Instanz er auf dem Redis-Client gespeichert wird, wie in der folgenden Abbildung dargestellt:

Proxy-Implementierung

Proxy-Implementierung bedeutet, dass der Client die Anfrage an den Proxy-Server sendet. Der Proxy-Server implementiert das Redis-Protokoll, sodass der Proxy-Server die Kommunikation zwischen den Proxy-Servern weiterleiten kann Client und dem Redis-Server. Der Proxyserver leitet die Anfrage des Clients über das konfigurierte Partitionsschema an die richtige Redis-Instanz weiter und gibt die Rückmeldung an den Client zurück.

Das schematische Diagramm der Proxy-Implementierung der Redis-Partition lautet wie folgt:

Abfragerouting

Abfragerouting ist eine Implementierung der Redis-Cluster-Partitionierungsmethode:

Während des Abfrageroutingprozesses können wir die Abfrageanforderung zufällig an jede Redis-Instanz senden. Diese Redis-Instanz ist für die Weiterleitung verantwortlich die Anfrage an die richtige In der Redis-Instanz. Der Redis-Cluster implementiert einen Hybrid, der beim Abfragerouting mit dem Client zusammenarbeitet.

Nachteile der Redis-Partition

Obwohl die Redis-Partitionierung bisher gut ist, weist sie einige schwerwiegende Mängel auf, die dazu führen, dass einige Redis-Funktionen in einer partitionierten Umgebung nicht gut funktionieren:

1. Schlüsseloperationen werden nicht unterstützt. Beispielsweise werden die Schlüssel, die wir stapelweise ausführen, verschiedenen Redis-Instanzen zugeordnet.

2. Multi-Key-Redis-Transaktionen werden nicht unterstützt.

3. Die minimale Granularität der Partitionierung ist der Schlüssel, daher können wir einen großen Datensatz, der einem Schlüssel zugeordnet ist, nicht verschiedenen Instanzen zuordnen.

4. Bei der Anwendung der Partitionierung ist die Datenverarbeitung sehr komplex. Beispielsweise müssen wir mehrere RDB/AOF-Dateien verarbeiten und in verschiedenen Instanzen verteilte Dateien für die Sicherung sammeln.

Das Hinzufügen und Löschen von Maschinen ist beispielsweise sehr komplex. Der Redis-Cluster unterstützt beispielsweise eine nahezu laufzeittransparente Neuverteilung, die zum Hinzufügen oder Reduzieren von Maschinen erforderlich ist.

Persistenter Speicher oder Cache

Obwohl die Datenpartitionierung für Redis konzeptionell gleich ist, unabhängig davon, ob es sich um persistenten Datenspeicher oder Cache handelt, hat persistenter Datenspeicher immer noch eine große Bedeutung Einschränkung.

Wenn wir Redis als dauerhaften Speicher verwenden, muss jeder Schlüssel immer derselben Redis-Instanz zugeordnet sein. Wenn Redis als Cache verwendet wird, kann dieser Schlüssel für diesen Schlüssel auch anderen Instanzen zugeordnet werden, wenn eine Instanz nicht verwendet werden kann.

Konsistente Hashing-Implementierungen ermöglichen normalerweise die Zuordnung eines Schlüssels zu einer anderen Instanz, wenn die Instanz, der er zugeordnet ist, nicht mehr verfügbar ist. Wenn eine Maschine hinzugefügt wird, wird ein Teil der Schlüssel der neuen Maschine zugeordnet. Zwei Punkte müssen wir wie folgt verstehen:

1 Wenn Redis als Cache verwendet wird, und die Anforderungen sind einfach Das Hinzufügen oder Entfernen von Maschinen ist durch konsistentes Hashing sehr einfach.

2. Wenn Redis als (persistenter) Speicher verwendet wird, ist eine feste Schlüssel-zu-Instanz-Zuordnung erforderlich, sodass wir Maschinen nicht mehr flexibel hinzufügen oder löschen können. Andernfalls muss das System in der Lage sein, beim Hinzufügen oder Löschen von Maschinen ein neues Gleichgewicht herzustellen, was derzeit von Redis Cluster unterstützt wird.

Pre-Sharding

Durch die obige Einführung wissen wir, dass es Probleme bei der Anwendung der Redis-Partition gibt, es sei denn, wir verwenden Redis nur als Cache Es kann schwierig sein, Maschinen hinzuzufügen oder eine Maschine zu löschen, ist sehr mühsam.

Normalerweise sind unsere Redis-Kapazitätsänderungen in praktischen Anwendungen jedoch sehr häufig. Ich benötige beispielsweise heute 10 Redis-Maschinen und morgen möglicherweise 50 Maschinen.

Angesichts der Tatsache, dass Redis ein sehr leichter Dienst ist (jede Instanz belegt nur 1 MB), ist eine einfache Lösung für das oben genannte Problem:

Wir können mehrere öffnen. Auch wenn die Redis-Instanz dies ist Bei einer physischen Maschine können wir am Anfang mehrere Instanzen starten. Wir können einige Instanzen, beispielsweise 32 oder 64 Instanzen, als unseren Arbeitscluster auswählen. Wenn eine physische Maschine nicht über genügend Speicher verfügt, können wir die allgemeinen Instanzen auf unsere zweite physische Maschine verschieben und sie nacheinander koppeln. So können wir sicherstellen, dass die Anzahl der Redis-Instanzen im Cluster unverändert bleibt und den Zweck der Erweiterung der Maschine erreichen.

Wie verschiebt man eine Redis-Instanz? Wenn wir die Redis-Instanz auf eine unabhängige Maschine verschieben müssen, können wir dies durch die folgenden Schritte tun:

1. Starten Sie eine neue Redis-Instanz auf der neuen physischen Maschine.

2. Verwenden Sie die neue physische Maschine als zu verschiebende Slave-Maschine.

3. Stoppen Sie den Client.

4. Aktualisieren Sie die IP-Adresse der Redis-Instanz, die verschoben werden soll.

5. Senden Sie den Befehl SLAVEOF ON ONE an die Slave-Maschine.

6. Starten Sie den Redis-Client mit der neuen IP.

7. Schließen Sie die Redis-Instanz, die nicht mehr verwendet wird.

Weitere Redis-Kenntnisse finden Sie in der Spalte Redis-Einführungs-Tutorial.

Das obige ist der detaillierte Inhalt vonImplementierung der Redis-Partition. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!