Une brève discussion sur les méthodes d'implémentation de la file d'attente de messages et de la file d'attente de messages retardée dans Redis

Comment Redis implémente-t-il la file d'attente de messages et la file d'attente de messages retardée ? L'article suivant vous présentera les méthodes d'implémentation de la file d'attente de messages et de la file d'attente de messages retardée dans Redis. J'espère qu'il vous sera utile !

En ce qui concerne Redis, de plus en plus de gens peuvent penser à son utilisation comme cache. En fait, Redis peut également implémenter des objectifs simples de file d'attente de messages. Nous pouvons utiliser la structure de données de liste pour implémenter la file d'attente. [Recommandations associées : Tutoriel vidéo Redis]

Plusieurs commandes pour la liste

lpush (poussée à gauche)

est stockée à partir du côté gauche de la file d'attente

rpush (poussée à droite)

est stockée à partir de la droite côté de la file d'attente

lpop (pop gauche)

Retirez-le du côté gauche de la file d'attente

rpop (pop droite)

Sortez-le du côté droit de la file d'attente

Les quatre commandes ci-dessus peuvent laisser la liste aidez-nous à implémenter des files d'attente ou des piles, et les caractéristiques des files d'attente. C'est premier entré, premier sorti, et la caractéristique de la pile est premier entré, dernier sorti

Ainsi, l'implémentation de la file d'attente peut utiliser lpush + rpop ou rpush + lpop, et. l'implémentation de la pile est lpush + lpop ou rpush + rpop.

Utilisez la commande pour démontrer la file d'attente

Le producteur publie des messagesNous utilisons d'abord rpush pour ajouter cinq éléments à une file d'attente appelée notify-queue, à savoir 1 2 3 4 5, qui est En tant que producteur, publiez des nouvelles

Le consommateur consomme des nouvellesPuisque le producteur utilise rpush, le consommateur doit utiliser lpop Vous pouvez voir l'image ci-dessous. Nous maintenons la file d'attente de notification. La consommation des messages est effectuée. sorti dans l'ordre, de 1 à 5, et lu dans l'ordre. Au final, il n'y a aucun message dans la file d'attente et la pop-up est toujours vide

Problème de sondage vide

Utilisez lpop pour consommer ci-dessus. Lorsque vous affichez un message, vous pouvez voir qu'une fois le message consommé, chaque fois que nous allons apparaître, ce que nous lisons est un message vide

Ce qui précède est une commande d'exécution manuelle, mais si le code est écrit, le programme le conserve. L'extraction de données Pop (extraction de données) entraînera une interrogation vide (lecture inutile), ce qui non seulement augmentera la consommation CPU du client, mais augmentera également le QPS de Redis, et restera une opération inutile. L'accès des autres clients à Redis devient lent à répondre.

Solution A (veille)

Étant donné qu'une interrogation vide augmentera la consommation de ressources du client et de Redis, nous pouvons laisser le client effectuer 1 seconde lors de la réception de données vides Mettre en veille, puis extraire les données après 1 seconde, ce qui peut réduire la consommation

Cette solution a aussi des défauts, c'est-à-dire que le délai de consommation des messages augmente s'il n'y a qu'un seul consommateur, le délai est de 1s, c'est-à-dire une interrogation vide Enfin, il se trouve qu'il dort, mais à ce moment-là. il y a des nouveautés, et il faut encore attendre 1 seconde pour se réveiller avant de consommer.

Thread.sleep(1000) S'il y a plusieurs consommateurs, puisque le temps de sommeil de chaque consommateur est divisé, cela diminuera un peu la latence, mais existe-t-il un meilleur moyen d'y parvenir. presque 0 latence ? "Solution B (blocage de la lecture)" entrera dans un état dormant lorsqu'il n'y a pas de données dans la file d'attente. Une fois qu'un message arrive, il répondra immédiatement et lira les données. Par conséquent, utiliser blpop/brpop pour remplacer lpop/rpop peut résoudre le problème du retard des messages. pour ajouter 3 attributs à la file d'attente, 6, 7, 8

Utilisez blpop pour lire la file d'attente. Le dernier paramètre est le temps d'attente pour bloquer la lecture. S'il n'y a pas de message après ce délai, nul sera renvoyé. A ce moment, vous pouvez continuer à répéter l'opération blpop.

Le problème de la déconnexion automatique des connexions inactives pour bloquer les lectures

Lorsque le client utilise le blocage des lectures, si le temps de blocage est trop long, le service la traitera généralement comme une connexion inactive, la traitant ainsi. Effectuez une déconnexion active pour réduire les connexions inutiles occupant des ressources. À ce moment, le client lancera une exception,

Veuillez donc noter que lorsque le client utilise le blocage de la lecture, cela est nécessaire. pour capturer l'exception et la gérer en conséquence, par exemple Réessayer.

Le client Java implémente la file d'attente des messages

L'idée est la même que ci-dessus, sauf que le client de ligne de commande redis-cli est modifié en langage Java et qu'un ou plusieurs threads effectuent la publication rpush,

Un ou plusieurs autres threads effectuent une consommation de blpop. Le code complété se trouve sur : https://github.com/qiaomengnan16/redis-demo/tree/main/redis-queue

Publisher

Abonnez-vous

L'idée de mise en œuvre de la file d'attente différée

La file d'attente différée signifie que le message est consommé par le consommateur après un certain temps, plutôt qu'après l'envoi du message, le consommateur peut le lire immédiatement. ,

zset peut nous aider à le faire. Premièrement, zset peut être trié par score, et score peut stocker un horodatage, donc chaque fois que nous publions un message, nous utilisons l'horodatage actuel plus l'horodatage différé,

Puis quand. le consommateur récupère le message, il intercepte les données de zset et obtient le message qui a satisfait l'heure actuelle (c'est-à-dire que les données avec un score inférieur ou égal à l'horodatage actuel sont obtenues. Un score inférieur ou égal à l'horodatage actuel signifie que le message a atteint l'heure. S'il est plus grand, cela signifie que vous devez attendre un moment avant de consommer).

Commandes clés zadd (éditeur), zrangebyscore (abonné), zrem (l'abonné supprime après avoir consommé des données)

Mise en œuvre de la commande

Nous avons utilisé zadd pour ajouter 4 éléments de données, à savoir 1 et 2, des données qui peuvent être consommé au bout de 3 secondes (pseudo-dire, ce n'est en fait qu'un score), et kafka qui peut être consommé au bout de 10 secondes,

S'il a atteint la troisième seconde, on prend la valeur en zset qui est la plus grande supérieur ou égal à 1 La somme des secondes est inférieure ou égale à 3 secondes de données, car les données dans cette plage sont exactement ce que nous pouvons consommer. Comme vous pouvez le voir, nous avons retiré 3 données qui remplissent les conditions. ,

Si nous ne pouvons consommer qu'une seule donnée à la fois, vous pouvez ajouter une condition de restriction de limite, vous pouvez voir l'image ci-dessous pour supprimer les premières données pouvant être consommées, redis

En même temps, notez que c'est différent des lpop/ et blpop de list (ils supprimeront automatiquement les données dans la file d'attente d'origine lorsqu'elles apparaîtront) data),

Bien que les données aient été obtenues, si zrem n'est pas utilisé pour le supprimer, ces données seront toujours lues par d'autres, car elles existent toujours dans zset,

Cependant, zrem peut avoir été préempté par d'autres. En cas de suppression (consommation), le code doit également juger du retour. La valeur de zrem est supérieure à 0, si nous avons réussi à préempter ce message, puis à le consommer correctement après le succès.

Mise en œuvre du code

Éditeur

Abonnés

Tester l'effet de retard

Adresse complète du code : https://github.com/qiaomengnan16 /redis-demo/tree/main/redis-delayed-queue

Optimisation, implémentée à l'aide de lua

Il y a un problème dans la file d'attente de retard implémentée ci-dessus, c'est-à-dire lors de l'utilisation de zrem pour déterminer s'il faut récupérer le données, il est très probable qu'elles ne soient pas récupérées. Si vous continuez à lire comme ça, vous ne pourrez peut-être pas les récupérer pendant plusieurs tours et les ressources seront gaspillées. Vous pouvez donc l'optimiser via les scripts Lua. Laissez zrangebyscore et zrem devenir une opération atomique, ce qui signifie qu'il peut éviter les conflits multithreads et gaspiller des ressources qui ne peuvent pas être récupérées.

Conclusion

Certains middleware de file d'attente professionnelle seront plus compliqués à appliquer et augmenteront les coûts d'exploitation et de maintenance, comme RabbitMQ Avant d'envoyer un message, vous devez créer un commutateur Exchange, puis créer un. File d'attente, puis Exchange et Queue Pour lier, vous devez spécifier la clé de routage lors de l'envoi d'un message pour correspondre à Exchange et enfin atteindre la file d'attente

Si le scénario est simple, vous pouvez utiliser redis pour implémenter une file d'attente, mais cela devrait. Notez que redis n'a pas les caractéristiques d'une file d'attente professionnelle. Il n'y a aucune garantie d'acquittement, ce qui signifie que le message n'est pas fiable après l'échec de la consommation. Si vous avez besoin d'une fiabilité à 100 %, vous devez toujours l'utiliser. un middleware de file d'attente professionnel et d'autres mécanismes tels que l'accusé de réception à titre de garantie.

Pour plus de connaissances sur la programmation, veuillez visiter :

Introduction à la programmation

 ! !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!