Implémentation de la partition Redis

Le partitionnement est le processus de division des données en plusieurs instances Redis, de sorte que chaque instance n'enregistre qu'un sous-ensemble de clés. Cet article vous présentera comment Redis implémente le partitionnement.

Pourquoi avons-nous besoin d'un zonage ? Quelle a été la motivation de la partition ? De manière générale, les avantages du partitionnement Redis sont à peu près les suivants :

1. Les capacités d'E/S réseau et les ressources informatiques de Redis sur une seule machine sont limitées et les requêtes sont distribuées sur plusieurs machines. l'utilisation complète de la puissance de calcul et de la bande passante réseau de plusieurs machines contribue à améliorer les capacités globales de service de Redis.

2. Expansion horizontale du stockage. Même si les capacités de service de Redis peuvent répondre aux besoins des applications, à mesure que les données de stockage augmentent, une seule machine est limitée par la capacité de stockage de la machine elle-même et les données sont dispersées. sur plusieurs machines. Le stockage supérieur permet au service Redis d'évoluer horizontalement.

En général, le partitionnement fait que le problème que nous sommes limités par les ressources matérielles d'un seul ordinateur n'est plus un problème. Pas assez de stockage ? Pas assez de ressources informatiques ? Pas assez de bande passante ? Nous pouvons tous résoudre ces problèmes en ajoutant davantage de machines.

Bases de la partition Redis

Il existe de nombreuses stratégies spécifiques de partitionnement dans les applications réelles. Par exemple, supposons que nous ayons déjà un ensemble de quatre instances Redis, à savoir R0, R1. , R2, R3. De plus, nous avons un lot de clés représentant les utilisateurs, telles que : utilisateur : 1, utilisateur : 2,... et ainsi de suite. Le numéro après « utilisateur : » représente l'identifiant de l'utilisateur. à faire Ces clés sont stockées dans quatre instances Redis différentes.

Comment faire ? Le moyen le plus simple est le partitionnement par plage. Voyons comment procéder en fonction du partitionnement par plage.

Partitionnement de plage

Le soi-disant partitionnement de plage consiste à mapper toutes les clés d'une plage à la même instance Redis. L'ajout de l'ensemble de données correspond toujours aux données utilisateur. mentionnée ci-dessus, la méthode spécifique est la suivante :

Nous pouvons mapper les données utilisateur avec des ID utilisateur de 0 à 10 000 aux instances R0, et mapper des objets avec des ID utilisateur de 10 001 à 20 000 aux instances R1, et ainsi de suite.

Bien que cette méthode soit simple, elle est très efficace dans les applications pratiques, mais il y a encore des problèmes :

1 Nous avons besoin d'un tableau qui est utilisé pour stocker la relation de cartographie. entre la plage d'ID utilisateur et l'instance Redis. Par exemple, l'ID utilisateur 0-10000 est mappé à l'instance R0...

2. Nous devons non seulement conserver ce tableau, mais nous avons également besoin d'un tel tableau pour chaque type d'objet. Par exemple, nous stockons actuellement les informations sur les utilisateurs. Si nous stockons les informations de commande, nous le ferons. le tableau doit être créé.

3. Que se passe-t-il si la clé des données que nous voulons stocker ne peut pas être divisée en fonction de la plage. Par exemple, notre clé est un ensemble d'uuid. À l'heure actuelle, il est difficile d'utiliser le partitionnement par plage.

Partitionnement par hachage

Un avantage évident du partitionnement par hachage par rapport au partitionnement par plage est que le partitionnement par hachage convient à toute forme de clé, contrairement au partitionnement par plage. est object_name :, et la méthode de partitionnement est également très simple. Elle peut être exprimée par une formule :

id=hash(key)%N

où id représente le numéro de l'instance Redis. et une fonction de hachage (telle que la fonction crc32) calcule une valeur numérique. En suivant l'exemple ci-dessus, la première clé que nous souhaitons traiter est user:1, et le résultat du hachage (user:1) est 93024922.

Ensuite, le résultat du hachage est modulo. Le but de modulo est de calculer une valeur comprise entre 0 et 3, afin que cette valeur puisse être mappée à l'une de nos instances Redis. Par exemple, si le résultat de 93024922%4 est 2, nous saurons que foobar sera stocké sur R2.

Différentes implémentations de partition

Le partitionnement peut être implémenté dans différentes parties de la pile logicielle Redis. Jetons un coup d'œil à ce qui suit :

Implémentation client

L'implémentation client signifie que la clé est déterminée sur le client Redis dans quelle instance Redis elle sera stockée, comme le montre la figure ci-dessous :

Implémentation du proxy

L'implémentation du proxy signifie que le client envoie la requête au serveur proxy implémente le protocole Redis, afin que le serveur proxy puisse proxy la communication. entre le client et le serveur Redis. Le serveur proxy transmet la demande du client à l'instance Redis appropriée via le schéma de partition configuré et renvoie le message de retour au client.

Le diagramme schématique de l'implémentation du proxy de la partition Redis est le suivant :

Routage des requêtes

Routage des requêtes est une implémentation de la méthode de partitionnement Redis Cluster Redis :

Pendant le processus de routage des requêtes, nous pouvons envoyer de manière aléatoire la requête de requête à n'importe quelle instance Redis. Cette instance Redis est responsable du transfert. la requête au bon Dans l'instance Redis. Le cluster Redis implémente un hybride qui coopère avec le client pour le routage des requêtes.

Inconvénients de la partition Redis

Bien que le partitionnement Redis soit jusqu'à présent tout bon, le partitionnement Redis présente des défauts fatals, qui empêchent certaines fonctions Redis de fonctionner correctement dans un environnement partitionné :

1. Les opérations de clé ne sont pas prises en charge. Par exemple, les clés que nous allons utiliser par lots sont mappées à différentes instances Redis.

2. Les transactions Redis multi-clés ne sont pas prises en charge.

3. La granularité minimale du partitionnement est la clé, nous ne pouvons donc pas mapper un grand ensemble de données associé à une clé à différentes instances.

4. Lors de l'application du partitionnement, le traitement des données est très complexe. Par exemple, nous devons traiter plusieurs fichiers rdb/aof et rassembler les fichiers distribués dans différentes instances pour la sauvegarde.

5. L'ajout et la suppression de machines sont très complexes. Par exemple, le cluster Redis prend en charge le rééquilibrage presque transparent nécessaire pour ajouter ou réduire des machines. Cependant, les méthodes telles que le partitionnement client et proxy ne sont pas prises en charge.

Stockage ou cache persistant

Bien que le partitionnement des données soit conceptuellement le même pour Redis, qu'il s'agisse d'un stockage ou d'un cache persistant de données, cependant, pour les données, le stockage persistant a toujours un grand limitation.

Lorsque nous utilisons Redis comme stockage persistant, chaque clé doit toujours être mappée à la même instance Redis. Lorsque Redis est utilisé comme cache, pour cette clé, si une instance ne peut pas être utilisée, cette clé peut également être mappée à d'autres instances.

Les implémentations de hachage cohérentes permettent généralement de mapper une clé à une autre instance lorsque l'instance à laquelle elle est mappée devient indisponible. De même, si une machine est ajoutée, une partie des clés sera mappée sur la nouvelle machine. Deux points que nous devons comprendre sont les suivants :

1 Si Redis est utilisé comme cache, et les exigences sont les suivantes. facile L'ajout ou la suppression de machines est très simple en utilisant un hachage cohérent.

2. Si Redis est utilisé comme stockage (persistant), un mappage clé-instance fixe est requis, nous ne pouvons donc plus ajouter ou supprimer de machines de manière flexible. Sinon, nous avons besoin que le système puisse se rééquilibrer lors de l'ajout ou de la suppression de machines, ce qui est actuellement pris en charge par Redis Cluster.

Pré-partage

Grâce à l'introduction ci-dessus, nous savons qu'il y a des problèmes avec l'application de la partition Redis. À moins que nous n'utilisions Redis uniquement comme cache, ce sera le cas. être difficile d'ajouter des machines ou de supprimer une machine est très gênant.

Cependant, les changements dans notre capacité Redis sont généralement très courants dans les applications pratiques. Par exemple, j'ai besoin de 10 machines Redis aujourd'hui, et j'aurai peut-être besoin de 50 machines demain.

Étant donné que Redis est un service très léger (chaque instance n'occupe que 1 Mo), une solution simple au problème ci-dessus est la suivante :

Nous pouvons en ouvrir plusieurs, même si l'instance Redis est une machine physique, nous pouvons démarrer plusieurs instances au début. Nous pouvons choisir certaines instances, telles que 32 ou 64 instances, comme cluster de travail. Lorsqu'une machine physique ne dispose pas de suffisamment de stockage, nous pouvons déplacer les instances générales vers notre deuxième machine physique et les coupler en séquence. Nous pouvons garantir que le nombre d'instances Redis dans le cluster reste inchangé et atteindre l'objectif d'extension de la machine.

Comment déplacer une instance Redis ? Lorsque nous devons déplacer l'instance Redis vers une machine indépendante, nous pouvons le faire en suivant les étapes suivantes :

1. Démarrez une nouvelle instance Redis sur la nouvelle machine physique.

2. Utilisez la nouvelle machine physique comme machine esclave à déplacer.

3. Arrêtez le client.

4. Mettez à jour l'adresse IP de l'instance Redis à déplacer.

5. Envoyez la commande SLAVEOF ON ONE à la machine esclave.

6. Démarrez le client Redis en utilisant la nouvelle IP.

7. Fermez l'instance Redis qui n'est plus utilisée.

Pour plus de connaissances sur Redis, veuillez faire attention à la colonne Tutoriel d'introduction à Redis.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!