Comment déployer le flux d'air Apache sur Vultr à l'aide d'Anaconda

Cet article vous guide dans le déploiement d'une application de flux d'air sécurisé dans un environnement Conda, en tirant parti de Nginx en tant que proxy inverse et, cryptons pour les certificats SSL. Airflow, un puissant outil de gestion du flux de travail, est déployé sur un serveur Vultr pour l'évolutivité et la fiabilité.

Le flux d'air simplifie la définition, la planification et la surveillance des workflows complexes à l'aide de graphiques acycliques dirigés (DAG). Sa nature open source assure le soutien de la communauté et l'amélioration continue.

(Ceci est un article sponsorisé de Vultr, une plate-forme de cloud computing de premier plan offrant des solutions évolutives dans le monde.)

Déploiement de votre serveur sur Vultr:

1. Accédez au portail client Vultr et créez un compte.

2. Accédez à "Products" et sélectionnez "calculer".

3. Choisissez "Déployer le serveur", sélectionnant "Cloud Compute" comme type de serveur.

4. Spécifiez votre emplacement préféré et choisissez "Anaconda" dans les applications du marché.

   

5. Sélectionnez un plan et toutes les fonctionnalités supplémentaires.

6. Cliquez sur "Déployer maintenant."

   

Configuration d'une base de données postgresql gérée par Vultr:

Ensuite, créez une base de données postgresql gérée par Vultr et deux nouvelles bases de données ("Airflow-PGSQL" et "Airflow-Celery") pour les métadonnées et les résultats du céleri d'Airflow, respectivement. Les étapes consistent à naviguer vers des «bases de données», à ajouter une base de données PostgreSQL, puis à ajouter les deux nouvelles bases de données sous «Utilisateurs et bases de données». Les captures d'écran illustrent chaque étape. (Des captures d'écran similaires aux originaux seraient incluses ici, faisant référence aux URL d'image d'origine.)

Configuration de l'environnement conda et installation de flux d'air:

1. Vérifiez votre version conda (conda --ver).

2. Créer un environnement conda (conda create -n airflow python=3.8).

3. activer l'environnement (conda activate airflow).

4. Installez redis (apt install -y redis-server), activez-le (sudo systemctl enable redis-server) et vérifiez son statut (sudo systemctl status redis-server).

   

5. installer pip (conda install pip).

6. Installez les dépendances nécessaires (pip install psycopg2-binary virtualenv redis).

7. Installez le flux d'air (pip install "apache-airflow[celery]==2.8.1" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.1/constraints-3.8.txt").

Connexion du flux d'air à la base de données Vultr:

1. Définissez la variable d'environnement AIRFLOW__DATABASE__SQL_ALCHEMY_CONN à l'aide de vos informations d'identification de base de données (référence à la base de données Airflow-PGSQL). (Une capture d'écran similaire à l'original serait incluse ici, faisant référence à l'URL d'image d'origine.)
2. Initialiser la base de données de métadonnées du flux d'air (airflow db init).
3. Configurez airflow.cfg, en définissant l'exécuteur exécuteur sur CeleryExecutor, en mettant à jour sql_alchemy_conn (à l'aide de Airflow-PGSQL), des ports de journal des travailleurs et du déclenchement (8794 et 8795), broker_url (redis://localhost:6379/0) et result_backend (en utilisant du flux d'air-cellule). (Une capture d'écran similaire à l'original serait incluse ici, faisant référence à l'URL d'image d'origine.)
4. Créer un utilisateur de flux d'air (airflow users create ...). (N'oubliez pas de remplacer les espaces réservés par des valeurs réelles).

Services de flux d'air de démonization:

Créer et activer les fichiers de service SystemD pour le serveur Web Airflow, le planificateur et le travailleur de céleri pour s'assurer qu'ils s'exécutent de manière persistante en arrière-plan. Cela implique la création de fichiers .service (par exemple, airflow-webserver.service) avec des chemins de chemins ExecStart appropriés et des paramètres utilisateur / groupe, puis en les activant et en les démarrant en utilisant systemctl. (Des captures d'écran similaires aux originaux seraient incluses ici, faisant référence aux URL d'image d'origine.)

Nginx Configuration du proxy inverse:

Configurez Nginx comme proxy inverse pour améliorer la sécurité et l'évolutivité. Cela comprend l'installation de Nginx, la création d'un fichier de configuration d'hôte virtuel (airflow.conf) pour proxy demandes au serveur Web de flux d'air (port 8080) et à activer la configuration. N'oubliez pas de configurer les règles de pare-feu pour permettre le trafic HTTP (port 80) et HTTPS (port 443). (Une capture d'écran similaire à l'original serait incluse ici, faisant référence à l'URL d'image d'origine.)

Certificat SSL Crypt,

Enfin, obtenez et installez un certificat SSL de Let's Encrypt en utilisant CERTBOT. Cela sécurise votre application de flux d'air avec HTTPS. Le processus consiste à installer CERTBOT, à obtenir le certificat (certbot --nginx -d airflow.example.com) et à tester l'auto-renouvellement. (Une capture d'écran similaire à l'original serait incluse ici, faisant référence à l'URL d'image d'origine.)

Conclusion:

Ce guide complet détaille le déploiement d'une application de flux d'air robuste et sécurisé sur Vultr, en utilisant Conda, Nginx et Let's Encrypt. Le résultat est un système de gestion de workflow prêt pour la production, évolutif et sécurisé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!