tutoriels informatiques
connaissances en informatique
Capture de données modifiées : présentation, pourquoi et meilleures pratiques
Capture de données modifiées : présentation, pourquoi et meilleures pratiques
Les entreprises d’aujourd’hui, en particulier celles qui donnent la priorité à la transformation numérique, ont cruellement besoin de données en temps réel. Le traitement traditionnel par lots hebdomadaires et mensuels ne peut plus répondre à la demande. Cependant, il n’est pas facile d’obtenir des données en temps réel provenant de plusieurs sources et de les utiliser pour automatiser les processus et optimiser les décisions de manière dynamique.
Récemment, nous avons rencontré un défi lors de la réarchitecture du système existant d'un client et de la division de l'architecture monolithique en microservices. Nous avons commencé à apporter des modifications à la base de données et à moderniser le système par module. À ce stade, nous devons nous assurer que les deux bases de données restent synchronisées, car différents modules peuvent nécessiter les mêmes données. En d'autres termes, l'ancien système requiert les données générées par le nouveau système dans la nouvelle base de données, et vice versa.
Nous avons étudié la technologie Change Data Capture (CDC) pour déterminer si elle répondait à nos besoins. L'article détaille la définition de CDC, les outils que nous avons testés, leur fonctionnement et leurs avantages. Parallèlement, nous avons partagé quelques cas et suggestions pour aider d'autres techniciens à choisir l'outil CDC approprié dans des situations spécifiques.
Qu'est-ce que la capture de données modifiées ?
La capture de données fait référence au processus de détection et de capture des modifications dans le système source, puis de transmission de ces modifications au système cible en temps quasi réel. Ces modifications peuvent inclure des opérations d'insertion, de suppression, de mise à jour et des modifications DDL de la structure de la base de données.
Comment fonctionnent les outils de capture de données de changement
Les outils CDC implémentent leurs fonctionnalités en surveillant les modifications des données dans les systèmes sources. Une fois qu'un changement est découvert, l'outil CDC le capture et l'enregistre dans un emplacement désigné, tel qu'une base de données ou un fichier journal. Les données traitées et transformées sont ensuite chargées dans un système cible, tel qu'un entrepôt de données ou une plateforme d'analyse.
Il existe plusieurs façons de capturer les modifications de la base de données. Jetons un coup d'œil à quelques-uns d'entre eux :
1. Basé sur l'horodatage/requête
Dans cette méthode, nous conserverons certaines colonnes d'audit similaires à CREATED_AT, LAST_UPDATED ou DATE_MODIFIED dans la source et détecterons les modifications dans ces colonnes en interrogeant les données dans la source pour capturer toute modification de données. Il est à noter que cette méthode n'enregistre pas les opérations de suppression.
2. Basé sur un déclencheur
Un déclencheur est une fonction de la base de données qui effectue une action basée sur un événement spécifique. Bien qu'utile pour capturer toute modification, y compris les opérations de suppression, cela réduit les performances de la base de données car chaque événement nécessite plusieurs écritures.
3. Basé sur les journaux
La base de données contient des journaux de transactions pour la récupération en cas de crash, stockant tous les événements. Avec CDC basé sur les journaux, les nouvelles transactions de base de données sont lues directement à partir du journal natif, ce qui permet de capturer les modifications sans analyser la table source et est donc plus efficace.
Cette approche est similaire au sourcing d'événements dans une architecture basée sur les événements. Chaque fois que l'état du système change, nous l'enregistrons comme un événement. Les événements enregistrés peuvent être rejoués dans le même ordre pour reconstruire l'état du système à tout moment.
Pourquoi utiliser CDC ?
CDC est essentiel dans de nombreux scénarios en fonction de la situation, de l'application, de l'architecture et des besoins de l'entreprise. Voici quelques-unes des façons dont le CDC contribue au processus d'ingénierie :
- Disponibilité des données en temps réel : les outils CDC capturent les changements en temps quasi réel, garantissant ainsi que les données les plus récentes sont disponibles pour l'analyse, la création de rapports ou un traitement ultérieur.
- Prise de décision plus rapide : CDC aide à réduire les délais entre la capture et la disponibilité des données, permettant une analyse et une prise de décision plus rapides.
- Intégration efficace des données : les outils CDC aident à capturer des données provenant de plusieurs sources opérationnelles et à les convertir dans un format commun dans une base de données ou un lac de données cible unique.
- Conception personnalisée de la base de données cible : CDC offre des avantages interfonctionnels, tels que la création de bases de données de recherche ou de requêtes en lecture seule dans les systèmes CQRS, la création de bases de données d'audit ou la capture de données dans des entrepôts de données. Il permet de dissocier les exigences non fonctionnelles et architecturales du magasin de données principal.
- Migration de données simplifiée : dans notre cas, CDC aide à maintenir la cohérence des données entre les bases de données existantes et les nouvelles pendant la phase de modernisation. Cela s'applique également à divers autres scénarios de migration de données.
Comment choisir le bon outil CDC ?
Il existe plusieurs outils CDC sur le marché, tels qu'Oracle Golden Gate, Debezium, IBM Infosphere, Striim, StreamSets et Qlik Replicate. Ces outils peuvent être open source ou payants. Ils prennent généralement en charge les environnements sur site et cloud et peuvent gérer diverses sources de données. Lors du choix, tenez compte des éléments suivants :
- Compatibilité avec les sources de données : au minimum, l'outil que vous choisissez doit être compatible avec toutes les sources de données dans lesquelles vous souhaitez capturer les modifications.
- Capture de données en temps réel : les outils doivent capturer les changements en temps quasi réel afin que vous puissiez travailler avec les données les plus récentes.
- Conversion et intégration des données : les outils CDC doivent être capables de gérer la conversion des données des types de données source vers les types de données cibles.
- Prix : les outils CDC doivent être rentables pour votre cas d'utilisation. Il existe des produits open source, payants et sous licence.
- Facilité d'utilisation et d'assistance : l'outil doit être facile à utiliser pour votre équipe et fournir un support adéquat, y compris une documentation complète et un support technique.
- Autres fonctionnalités : en fonction de vos besoins, vous souhaiterez peut-être également consulter d'autres fonctionnalités spécifiques, telles que la synchronisation bidirectionnelle entre la source et la destination et la prise en charge du cloud.
À mesure que les entreprises se tournent vers la technologie, les données historiques et actuelles deviendront un différenciateur essentiel. Parvenir à une capture précise, rapide, efficace et rentable des données sur les changements constituera un élément important de tout programme de transformation technologique. Lorsque vous faites face à cette situation, j’espère que cet article pourra vous aider.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire !
Apr 03, 2024 pm 12:04 PM
0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr
Utilisez ddrescue pour récupérer des données sous Linux
Mar 20, 2024 pm 01:37 PM
DDREASE est un outil permettant de récupérer des données à partir de périphériques de fichiers ou de blocs tels que des disques durs, des SSD, des disques RAM, des CD, des DVD et des périphériques de stockage USB. Il copie les données d'un périphérique bloc à un autre, laissant derrière lui les blocs corrompus et ne déplaçant que les bons blocs. ddreasue est un puissant outil de récupération entièrement automatisé car il ne nécessite aucune interruption pendant les opérations de récupération. De plus, grâce au fichier map ddasue, il peut être arrêté et repris à tout moment. Les autres fonctionnalités clés de DDREASE sont les suivantes : Il n'écrase pas les données récupérées mais comble les lacunes en cas de récupération itérative. Cependant, il peut être tronqué si l'outil est invité à le faire explicitement. Récupérer les données de plusieurs fichiers ou blocs en un seul
Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU
Apr 01, 2024 pm 07:46 PM
Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de
La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données.
Apr 29, 2024 pm 06:55 PM
Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.
Vitesse Internet lente des données cellulaires sur iPhone : correctifs
May 03, 2024 pm 09:01 PM
Vous êtes confronté à un décalage et à une connexion de données mobile lente sur iPhone ? En règle générale, la puissance de l'Internet cellulaire sur votre téléphone dépend de plusieurs facteurs tels que la région, le type de réseau cellulaire, le type d'itinérance, etc. Vous pouvez prendre certaines mesures pour obtenir une connexion Internet cellulaire plus rapide et plus fiable. Correctif 1 – Forcer le redémarrage de l'iPhone Parfois, le redémarrage forcé de votre appareil réinitialise simplement beaucoup de choses, y compris la connexion cellulaire. Étape 1 – Appuyez simplement une fois sur la touche d’augmentation du volume et relâchez-la. Ensuite, appuyez sur la touche de réduction du volume et relâchez-la à nouveau. Étape 2 – La partie suivante du processus consiste à maintenir le bouton sur le côté droit. Laissez l'iPhone finir de redémarrer. Activez les données cellulaires et vérifiez la vitesse du réseau. Vérifiez à nouveau Correctif 2 – Changer le mode de données Bien que la 5G offre de meilleures vitesses de réseau, elle fonctionne mieux lorsque le signal est plus faible
L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois.
May 07, 2024 pm 05:00 PM
Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,
Le premier robot capable d'accomplir de manière autonome des tâches humaines apparaît, avec cinq doigts flexibles et rapides, et de grands modèles prennent en charge l'entraînement dans l'espace virtuel
Mar 11, 2024 pm 12:10 PM
Cette semaine, FigureAI, une entreprise de robotique investie par OpenAI, Microsoft, Bezos et Nvidia, a annoncé avoir reçu près de 700 millions de dollars de financement et prévoit de développer un robot humanoïde capable de marcher de manière autonome au cours de la prochaine année. Et l’Optimus Prime de Tesla a reçu à plusieurs reprises de bonnes nouvelles. Personne ne doute que cette année sera celle de l’explosion des robots humanoïdes. SanctuaryAI, une entreprise canadienne de robotique, a récemment lancé un nouveau robot humanoïde, Phoenix. Les responsables affirment qu’il peut accomplir de nombreuses tâches de manière autonome, à la même vitesse que les humains. Pheonix, le premier robot au monde capable d'accomplir des tâches de manière autonome à la vitesse d'un humain, peut saisir, déplacer et placer avec élégance chaque objet sur ses côtés gauche et droit. Il peut identifier des objets de manière autonome
Le document multimodal Alibaba 7B comprenant le grand modèle remporte le nouveau SOTA
Apr 02, 2024 am 11:31 AM
Nouveau SOTA pour des capacités de compréhension de documents multimodaux ! L'équipe Alibaba mPLUG a publié le dernier travail open source mPLUG-DocOwl1.5, qui propose une série de solutions pour relever les quatre défis majeurs que sont la reconnaissance de texte d'image haute résolution, la compréhension générale de la structure des documents, le suivi des instructions et l'introduction de connaissances externes. Sans plus tarder, examinons d’abord les effets. Reconnaissance et conversion en un clic de graphiques aux structures complexes au format Markdown : Des graphiques de différents styles sont disponibles : Une reconnaissance et un positionnement de texte plus détaillés peuvent également être facilement traités : Des explications détaillées sur la compréhension du document peuvent également être données : Vous savez, « Compréhension du document " est actuellement un scénario important pour la mise en œuvre de grands modèles linguistiques. Il existe de nombreux produits sur le marché pour aider à la lecture de documents. Certains d'entre eux utilisent principalement des systèmes OCR pour la reconnaissance de texte et coopèrent avec LLM pour le traitement de texte.
