Comment déplacer des données de MySQL vers Redis en temps réel

Aperçu

Redis est un magasin de données open source, en mémoire et non relationnelles, connu pour ses hautes performances et sa flexibilité. Il est largement utilisé dans de nombreux cas, tels que l'analyse en temps réel, le cache d'applications et la gestion de sessions. Il est donc important d'intégrer les données à Redis.

Ce tutoriel explique comment utiliser BladePipe pour déplacer des données de MySQL vers Redis, y compris les fonctionnalités suivantes :

• Prend en charge une instance Redis à nœud unique, des instances Redis maître/de secours et une instance de cluster fragmenté.
• Autoriser la définition d'un délai d'expiration du cache lors de l'écriture de données sur une instance Redis.

À propos de BladePipe

BladePipe est un outil de réplication de données de bout en bout en temps réel, simplifiant le déplacement de vos données entre diverses sources de données, notamment les bases de données, les files d'attente de messages, les entrepôts de données en temps réel, etc.

En utilisant la technique de Change Data Capture (CDC), BladePipe peut suivre, capturer et fournir des modifications de données automatiquement et avec précision avec une latence ultra-faible, améliorant considérablement l'efficacité de l'intégration des données. Il fournit des solutions solides pour les cas d'utilisation nécessitant une réplication de données en temps réel, alimentant ainsi la prise de décision basée sur les données et l'agilité de l'entreprise.

Points forts

Adaptation automatique aux clusters partagés

Il existe des différences dans la manière d'écrire des données sur des clusters Redis fragmentés et non fragmentés.

BladePipe identifie automatiquement le partitionnement du cluster de Redis en obtenant les paramètres Redis et ajuste la méthode d'écriture des données pour exécuter l'Incremental DataJob.

Prise en charge de l'expiration du cache

Il est permis de définir le délai d'expiration du cache lors de l'écriture de données sur une instance Redis.

Lors de la création d'un BladePipe DataJob, vous pouvez éventuellement définir le délai d'expiration (en secondes). La configuration prend effet automatiquement lorsqu'un DataJob est en cours d'exécution.

Procédure

Étape 1 : Installer BladePipe

Suivez les instructions dans Install Worker (Docker) ou Install Worker (Binary) pour télécharger et installer un BladePipe Worker.

Étape 2 : ajouter des sources de données

1. Connectez-vous au BladePipe Cloud.
2. Cliquez sur DataSource > Ajouter une source de données.
3. Sélectionnez le type de DataSource source et cible et remplissez respectivement le formulaire de configuration. Remarque : Si l'instance Redis est un cluster, veuillez remplir tous les nœuds ou tous les nœuds maîtres et les séparer par des virgules.

Étape 3 : Créer un DataJob

1. Cliquez sur DataJob > Créer un DataJob.
2. Sélectionnez les DataSources source et cible. Définissez le délai d'expiration du cache (en secondes) dans la configuration Avancé de la DataSource cible. Le nombre <=0 signifie que le cache n'expirera pas.
3. Sélectionnez Incrémental pour le type de DataJob, ainsi que l'option Full Data.

4. Sélectionnez les tables à répliquer.
   
   Remarque : Les clés de Redis étant composées des clés primaires des tables sources, il n'est pas recommandé de sélectionner les tables sans clé primaire.

5. Sélectionnez les colonnes à répliquer. Filtrez les données si nécessaire.
   

6. Confirmez la création.

Maintenant, le DataJob est créé et démarré. BladePipe exécutera automatiquement les DataTasks suivantes :

• Migration de schéma : Les schémas des tables sources seront migrés vers l'instance cible.
• Migration complète des données : toutes les données existantes des tables sources seront entièrement migrées vers l'instance cible.
• Synchronisation incrémentielle des données : les modifications de données en cours seront continuellement synchronisées avec l'instance cible.

FAQ

Que dois-je faire après un basculement maître/veille Redis ?

BladePipe écrit des données avec JedisCluster, qui détecte automatiquement un basculement maître/veille.

Que dois-je faire si les nœuds dans Redis sont modifiés？

Vous pouvez modifier manuellement les informations du nœud de la configuration du DataJob et redémarrer le DataJob.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!