Configuration Mage AI avec Postgres

Imaginez-vous en tant que professionnel de données chargé de créer un pipeline de données efficace pour rationaliser les processus et générer des informations en temps réel. Cela semble difficile, non? C'est là que Mage AI entre en jeu pour s'assurer que les prêteurs opérant en ligne gagnent un avantage concurrentiel. Imaginez ceci: Ainsi, contrairement à de nombreuses autres extensions qui nécessitent une configuration profonde et un codage constant, Mage AI a une configuration étape par étape claire et peu exigeante et vous êtes invités à utiliser son interface claire sans avoir à faire glisser et à déposer des éléments. Je vais également partager avec vous comment importer Mage AI avec PostgreSQL afin que vous puissiez créer votre premier pipeline de données avec Mage AI. Permettez-moi de vous présenter les étapes qui vous aideront à améliorer encore votre traitement des données!

Résultats d'apprentissage

• Comprendre comment configurer Mage AI pour une intégration transparente avec PostgreSQL.
• Apprenez à télécharger des données brutes sur PostgreSQL et créer des schémas à l'aide de pgadmin4.
• Maître le processus de construction et de gestion des pipelines de données dans Mage AI.
• Explorez comment configurer des déclencheurs automatisés et planifier des pipelines de données.
• Gardez un aperçu des fonctionnalités avancées de Mage AI comme le traitement et la surveillance en temps réel.

Cet article a été publié dans le cadre du Blogathon de la science des données.

Table des matières

• Résultats d'apprentissage
• Qu'est-ce que Mage AI?
• Configurez Mage AI avec Postgres pour construire et gérer votre pipeline de données
  • Étape 1: Préparation de votre base de données Postgres
  • Étape2: rassemblement des détails de configuration de Postgres
  • Étape 3: Installation de Mage AI à l'aide de Docker dans VS Code
  • Étape 4: Configuration de Mage AI pour se connecter avec Postgres
  • Étape 5: Création de votre premier pipeline de données
  • Étape 6: Création de déclencheurs et de pipelines de planification
• Caractéristiques supplémentaires de Mage AI
• Conclusion
• Questions fréquemment posées

Qu'est-ce que Mage AI?

Mage AI simplifie l'intégration des workflows de données croissants en tant qu'outil open source. Avec sa conception propre et son interface de type application, les ingénieurs de données et les analystes peuvent facilement créer des pipelines de données à l'aide d'options en un clic, éliminant le besoin de codage. L'importation, l'analyse et la manipulation des mégadonnées sont beaucoup plus faciles avec Mage AI qui sont livrées avec des fonctionnalités telles que la glisser-déposer, la transformation des données, la compatibilité des sources de données entre autres. Le premier permet aux utilisateurs de passer leur temps du côté des analyses au lieu de s'inquiéter des infrastructures sous-jacentes à installer. Mage AI prend également en charge les scripts Python où l'on peut définir des transformations personnalisées qui le rendent adapté à la fois pour un utilisateur technique et non technique.

Avantages de l'utilisation de Mage AI avec PostgreSQL

Examinons les avantages de l'utilisation de Mage AI avec PostgreSQL.

• Gestion des données rationalisées : Mage AI simplifie la création de pipeline de données avec son interface glisser-déposer, ce qui facilite le chargement, la transformation et l'exportation des données de PostgreSQL sans codage manuel.
• Automatisation améliorée : automatiser les tâches de données récurrentes, comme les processus ETL, en configurant les déclencheurs et les pipelines planifiés, en réduisant le besoin d'interventions manuelles constantes.
• Intégration transparente : Mage AI s'intègre en douceur avec PostgreSQL, permettant aux utilisateurs de gérer efficacement les grands ensembles de données et d'effectuer des opérations de données complexes dans le même flux de travail.
• Transformations personnalisables : Tirez parti des scripts Python dans Mage AI pour effectuer des transformations de données personnalisées sur les données PostgreSQL, permettant une flexibilité pour le traitement avancé des données.
• Évolutif et fiable : Mage AI gère efficacement les pipelines, garantissant une manipulation en douceur des ensembles de données petits et grands, tandis que l'évolutivité de PostgreSQL prend en charge la croissance de l'entreprise sans goulot d'étranglement de performance.
• Convivial : l'interface intuitive le rend accessible aux utilisateurs avec différents niveaux d'expertise technique, permettant un apprentissage plus rapide et un déploiement plus rapide de solutions de données.

Configurez Mage AI avec Postgres pour construire et gérer votre pipeline de données

La configuration de Mage AI avec Postgres vous permet de construire et de gérer de manière transparente des pipelines de données puissants, d'automatiser les workflows et de simplifier les tâches de données complexes pour des informations efficaces. Examinons les étapes nécessaires pour configurer Mage AI avec Postgres.

Étape 1: Préparation de votre base de données Postgres

Avant de plonger dans Mage AI, téléchargez vos fichiers de données bruts sur Postgres à l'aide de PGADMIN4 et créez le schéma correct pour chaque fichier. Voici comment commencer:

Téléchargez des fichiers bruts sur Postgres via pgadmin4

• Ouvrez PGADMIN4 et connectez-vous à votre serveur Postgres.
• Créez une nouvelle base de données ou utilisez une existante.
• Assurez-vous d'ajouter le schéma correct pour chaque fichier de données bruts.
• Téléchargez / exportez vos fichiers de données vers les tables appropriées dans ce schéma.

 Importer des pandas en tant que PD
importation d'importation

# Ouvrez le fichier en mode binaire et lisez un échantillon
avec Open ("DepenSeSMaster.csv", 'RB') en tant que fichier:
    sample = file.read (10000) # Lire les 10 000 premiers octets comme échantillon

# Détecter le codage
détecté =bardet.detect (échantillon)
Imprimer (détecté [«codage»])

# Utilisez le codage détecté pour lire le CSV
essayer:
    df = pd.read_csv ("DepenseMaster.csv", coding = détecté ['coding'])
Sauf UnicodeDeCodeerror:
    # Si la lecture échoue, essayez avec un codage commun comme UTF-8
    df = pd.read_csv ("dépensemaster.csv", coding = "utf-8")

# Inférer les types de données
dtype_mapping = {
    «Objet»: «Texte»,
    «int64»: «bigint»,
    'float64': 'double précision',
    'DateTime64 [ns]': 'horodatage',
    'bool': 'booléen'
}

Column_Definitions = ',' .join ([f '"{col}" {dtype_mapping [str (df [col] .dtype)]}' pour col dans df.columns])

# Générez la table de création SQL
table_name = 'dépensemaster'
CREATE_TABLE_SQL = F'Create Table {Table_Name} ({Column_Definitions}); '
print (create_table_sql)

Cliquez sur actualiser les «tables» pour obtenir la table nouvellement créée.

Démarrer le service Postgres

Assurez-vous que le service Postgres est en cours d'exécution. Vous pouvez le vérifier dans PGADMIN4 ou en utilisant le terminal PSQL.

Étape2: rassemblement des détails de configuration de Postgres

Vous aurez besoin de détails spécifiques pour configurer Mage AI avec Postgres. Voici ce dont vous avez besoin et comment le trouver:

• Postgres_dbname : le nom de votre base de données Postgres.
• Postgres_schema : le schéma où vos fichiers de données sont téléchargés.
• Postgres_user : le nom d'utilisateur de votre base de données Postgres.
• Postgres_password : le mot de passe de votre base de données Postgres.
• Postgres_host : l'adresse IP hôte de votre serveur Postgres.
• Postgres_port : généralement 5432 pour Postgres.

Étape 3: Installation de Mage AI à l'aide de Docker dans VS Code

Pour installer Mage AI, nous utiliserons l'extension Docker dans Visual Studio Code (VS Code). Assurez-vous que Docker Desktop et l'extension Docker pour le code vs installé.

Installer Docker Desktop

Téléchargez et installez Docker Desktop à partir d'ici et initialisez-le.

Installez l'extension Docker pour le code vs:

• Ouvrez VS Code et accédez à la vue d'extensions en cliquant sur l'icône d'extensions dans la barre d'activité sur le côté de la fenêtre ou en appuyant sur Ctrl Shift X.
• Recherchez «Docker» et installez l'extension Docker par Microsoft.

Tirez l'image Docker Mage AI

• Ouvrez un terminal dans le code vs et accédez à votre dossier de projet.
• Exécutez la commande suivante pour extraire la dernière image Docker Mage AI:

 Docker Pull Mageai / Mageai: Dernière

Exécutez l'image Mage AI Docker

• Une fois l'image Mage AI tirée, accédez à l'onglet Docker dans le code VS.
• Trouvez l'image Mage AI et exécutez-la. Cela créera un nouveau conteneur.
• Cliquez avec le bouton droit sur le conteneur nouvellement créé et sélectionnez «Ouvrir dans le navigateur».
• L'interface Mage AI devrait désormais se charger dans votre navigateur Web par défaut.

Étape 4: Configuration de Mage AI pour se connecter avec Postgres

Configurez la connexion de la base de données dans io_config.yaml:

• Accédez à la section tous les fichiers de votre pipeline.
• Localisez et ouvrez le fichier io_config.yaml.
• Ajoutez vos détails de connexion postgres comme suit

Permettez à Mage AI d'accéder à la base de données Postgres

• Pour accorder l'accès à la base de données sur votre adresse IP, vous devez modifier le fichier pg_hba.conf.
• Localisez le fichier pg_hba.conf à C: \ Program Files \ PostgreSQL \ 16 \ Data.
• Ouvrez le fichier et ajoutez la ligne dans la section # IPv4 Connexions locales comme indiqué sur la figure 4.

Étape 5: Création de votre premier pipeline de données

Maintenant que Mage AI est configuré pour se connecter avec Postgres, nous pouvons créer notre premier pipeline de données. Nous commencerons par configurer des blocs de chargeur de données pour chaque ensemble de données et utiliser la fonction de glisser-déposer pour les connecter dans un organigramme.

Créer des blocs de chargeur de données

• Pour chaque ensemble de données, créez un bloc de chargeur de données séparé.
• Dans l'interface Mage AI, faites glisser et déposez un bloc de chargeur de données sur la toile pour chaque ensemble de données que vous devez charger à partir de Postgres.
• Configurez chaque bloc de chargeur de données avec les détails de connexion appropriés et la requête pour récupérer les données de Postgres.

Connectez les blocs de chargeur de données au bloc de transformateur

Utilisez la fonction de glisser-déposer pour connecter les blocs de chargeur de données dans l'organigramme au prochain bloc de code de transformateur. Cette représentation visuelle aide à comprendre le flux de données et à garantir que toutes les étapes sont correctement connectées.

Création de blocs d'exportateur de données

• Dans l'interface Mage AI, après avoir configuré votre chargeur de données et vos blocs de transformation, ajoutez un bloc d'exportateur de données au canevas.
• Choisissez «Postgres» comme destination des données sous Python.
• Fournissez les détails de connexion nécessaires à votre base de données Postgres. Écrivez le code pour exporter les données transformées à la base de données PostgreSQL.

Étape 6: Création de déclencheurs et de pipelines de planification

Mage AI offre la possibilité de créer des déclencheurs pour exécuter votre pipeline et le planifier pour une exécution régulière. Cela garantit que vos données sont toujours à jour sans intervention manuelle.

Création d'un déclencheur

• Dans Mage AI, vous pouvez configurer des déclencheurs pour exécuter votre pipeline en fonction des événements ou des conditions spécifiques. Par exemple, vous pouvez déclencher un pipeline pour s'exécuter chaque fois que de nouvelles données sont ajoutées à votre base de données Postgres.
• Pour créer un déclencheur, accédez aux paramètres du pipeline et configurez les conditions de déclenchement selon les besoins.

Planifier le pipeline

• Mage AI prend en charge les pipelines de planification pour fonctionner à intervalles réguliers. Cela peut être fait via les paramètres de planification dans le tableau de bord Mage AI.
• Vous pouvez spécifier la fréquence (quotidien, hebdomadaire, etc.) et le temps pour le pipeline.

Caractéristiques supplémentaires de Mage AI

Mage AI fournit plusieurs fonctionnalités puissantes pour automatiser et améliorer vos pipelines de données:

• Intégration avec plusieurs sources de données: Mage AI accepte également de nombreux types d'entrées de données: bases de données, stockage cloud et API vous permettant de construire des flux de données divers et étendus.
• Capacités de transformation avancées: Sur la base de Python, Mage AI vous offre la possibilité de mettre en œuvre une transformation personnalisée à l'aide de décorateurs qui facilite le processus de réalisation de divers algorithmes de transformation de données.
• Évolutivité: Mage AI optimise votre débit pour les mégadonnées, ce qui lui permet de gérer des quantités croissantes de données à mesure qu'elles se développent.
• Surveillance et alertes: Mage AI fournit une forte fonctionnalité de surveillance et d'alerte et permet de surveiller le flux de travail du pipeline et de recevoir des notifications sur les échecs.
• Interface conviviale: la disposition graphique des pipelines de données signifie que les utilisateurs n'ont pas à se soucier d'un codage compliqué afin de manipuler et de transformer leurs données.

Ils font de Mage AI un outil pour automatiser les workflows de données comme infrastructure de données afin que vous n'ayez pas besoin de y consacrer beaucoup de temps.

Conclusion

Aujourd'hui, l'information est un atout précieux, ce qui rend la gestion des données essentielle aux organisations. Cet article fournit des conseils clairs sur la configuration de Mage AI avec PostgreSQL, vous aidant à créer un pipeline de données robuste qui non seulement rationalise plusieurs processus, mais augmente également considérablement la productivité. Avec l'associé du logiciel, l'utilisation de Mage AI aux côtés de bases de données robustes telles que PostgreSQL permettent aux utilisateurs de gérer, d'analyser et de prendre les bonnes décisions dans les plus brefs délais possibles. Étant donné que les organisations ont intensifié les efforts dans les méthodologies et les cadres basés sur les données, les technologies telles que Mage AI sont en évidence les modèles dominants pour gérer les données.

Explorez le code derrière cet article sur GitHub!

Questions fréquemment posées

Q1. Qu'est-ce que Mage AI?

A. Mage AI est un outil open source conçu pour simplifier le processus de construction et de gestion des flux de travail de données. Il fournit une interface conviviale et des fonctionnalités d'automatisation qui aident les professionnels des données à créer des pipelines sans connaissances approfondies.

Q2. Pourquoi utiliser PostgreSQL avec Mage AI?

A. PostgreSQL est un puissant système de gestion de la base de données relationnelle ouverte connue pour sa robustesse et son évolutivité. Lorsqu'il est associé à Mage AI, il permet aux utilisateurs de stocker, de récupérer et de manipuler efficacement de grands ensembles de données, ce qui en fait un choix idéal pour les pipelines de données.

Q3. Ai-je besoin de compétences en programmation pour utiliser Mage AI?

R. Bien que une certaine familiarité avec les concepts de programmation puisse être utile, Mage AI est conçu pour être convivial et accessible aux utilisateurs ayant différents niveaux d'expertise technique. De nombreuses tâches peuvent être accomplies via son interface intuitive.

Q4. Puis-je intégrer d'autres sources de données avec Mage AI?

A. Oui, Mage AI prend en charge l'intégration avec diverses sources de données, permettant aux utilisateurs de créer des pipelines de données complets qui tirent des données à partir de plusieurs plates-formes, améliorant l'écosystème de données global.

Q5. Mage AI est-il gratuit?

A. Mage AI est un outil open source, ce qui signifie qu'il est gratuit. Cependant, les utilisateurs peuvent engager des coûts associés à l'hébergement, au stockage et à d'autres services connexes, en fonction de leurs choix d'infrastructure.

Les médias présentés dans cet article ne sont pas détenus par l'analytique vidhya et sont utilisés à la discrétion de l'auteur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!