Comment MySQL garantit-il l'ordre des messages ?

Permettez-moi de vous donner un exemple. Nous avons déjà construit un système de synchronisation mysql binlog, et la pression est toujours très élevée. Les données de synchronisation quotidiennes doivent atteindre des centaines de millions, ce qui signifie que les données sont toujours très élevées. synchronisé intact à partir d'une bibliothèque mysql. Accédez à une autre bibliothèque mysql (mysql -> mysql). Un point commun est que, par exemple, une équipe big data a besoin de synchroniser une bibliothèque mysql pour effectuer diverses opérations complexes sur les données du système métier de l'entreprise. binlog 同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说数据从一个 mysql 库原封不动地同步到另一个 mysql 库里面去（mysql -> mysql）。常见的一点在于说比如大数据 team，就需要同步一个 mysql 库过来，对公司的业务系统的数据做各种复杂的操作。

你在 mysql 里增删改一条数据，对应出来了增删改 3 条 binlog 日志，接着这三条 binlog

Lorsque vous ajoutez, supprimez ou modifiez une donnée dans mysql, trois journaux binlog seront générés correspondant à l'ajout, la suppression et la modification. Puis ces trois journaux binlog. sera envoyé à MQ, puis consommé et exécuté dans l'ordre. Au moins, vous devez vous assurer que les gens arrivent dans l'ordre, n'est-ce pas ? Sinon, c'était à l'origine : ajouter, modifier, supprimer ; mais vous venez de changer l'ordre et de l'exécuter pour supprimer, modifier et ajouter ; n'est-ce pas complètement faux ?

À l'origine, lorsque ces données ont été synchronisées, les données auraient dû être supprimées à la fin ; mais en conséquence, vous vous êtes trompé de commande, et les données ont finalement été conservées, et la synchronisation des données s'est mal passée.

Regardons d'abord deux scénarios dans lesquels la commande sera en panne :

• RabbitMQ : une file d'attente, plusieurs consommateurs. Par exemple, le producteur envoie trois éléments de données à RabbitMQ, dans l'ordre data1/data2/data3, et ce qui est placé dans une file d'attente mémoire de RabbitMQ. Trois consommateurs consomment l'un des trois éléments de données de MQ. Par conséquent, le consommateur 2 termine l'opération en premier et enregistre data2 dans la base de données, suivi de data1/data3. Ce n’est évidemment pas gâché.

• 
  Kafka : Par exemple, nous avons créé un sujet avec trois partitions. Lorsque le producteur écrit, il peut en fait spécifier une clé. Par exemple, si nous spécifions un identifiant de commande comme clé, alors les données liées à cette commande seront définitivement distribuées sur la même partition, et les données de cette partition doivent y être. est un ordre.

  Lorsque le consommateur retire les données de la partition, celles-ci doivent être en ordre. À ce stade, la commande est toujours correcte et il n’y a aucune confusion. Ensuite, nous pouvons créer plusieurs threads dans le consommateur pour traiter les messages simultanément. Parce que si le consommateur consomme et traite dans un seul thread et que le traitement prend du temps, par exemple, il faut des dizaines de ms pour traiter un message, alors seules des dizaines de messages peuvent être traités en 1 seconde, ce qui est un débit trop faible. . Si plusieurs threads s'exécutent simultanément, l'ordre peut être perturbé.

Solution

LapinMQ

Divisez plusieurs files d'attente, chaque file d'attente a un consommateur, ce qui est juste plus de files d'attente, ce qui est en effet un point gênant ; puis le distribue aux différents travailleurs sous-jacents pour le gérer.

Kafka

• Un sujet, une partition, un consommateur, une consommation interne monothread, le débit monothread est trop faible, généralement cela ne sera pas utilisé.

• Écrivez N files d'attente mémoire, et les données avec la même clé iront dans la même file d'attente mémoire ; puis pour N threads, chaque thread consomme respectivement une file d'attente mémoire, afin que l'ordre puisse être garanti.

🎜

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!