Cara Menyebarkan Aliran Air Apache di Vultr menggunakan Anaconda

Artikel ini membimbing anda melalui penggunaan aplikasi aliran udara yang selamat dalam persekitaran conda, memanfaatkan Nginx sebagai proksi terbalik dan mari enkripsi untuk sijil SSL. Airflow, alat pengurusan aliran kerja yang kuat, dikerahkan pada pelayan Vultr untuk skalabiliti dan kebolehpercayaan.

Airflow memudahkan definisi, penjadualan, dan pemantauan aliran kerja kompleks menggunakan graf acyclic yang diarahkan (DAGs). Sifat sumber terbuka memastikan sokongan komuniti dan peningkatan berterusan.

(Ini adalah artikel yang ditaja oleh Vultr, platform pengkomputeran awan terkemuka yang menawarkan penyelesaian berskala di seluruh dunia.)

Menggunakan pelayan anda di Vultr:

1. Akses portal pelanggan Vultr dan buat akaun.

2. Navigasi ke "Produk" dan pilih "Pengiraan."

3. Pilih "Server Server," memilih "pengiraan awan" sebagai jenis pelayan.

4. Tentukan lokasi pilihan anda dan pilih "Anaconda" dari aplikasi pasaran.

   

Pilih pelan dan sebarang ciri tambahan.
Klik "Deploy Now."

6. 

   Menyediakan pangkalan data PostgreSQL yang diuruskan oleh Vultr:

Seterusnya, buat pangkalan data PostgreSQL yang diuruskan oleh Vultr dan dua pangkalan data baru di dalamnya ("Airflow-PGSQL" dan "Airflow-Celery") untuk metadata dan hasil saderi aliran udara. Langkah -langkah melibatkan menavigasi kepada "pangkalan data," menambah pangkalan data PostgreSQL, dan kemudian menambah dua pangkalan data baru di bawah "Pengguna & Pangkalan Data." Tangkapan skrin menggambarkan setiap langkah. (Tangkapan skrin yang serupa dengan asal akan dimasukkan di sini, merujuk kepada URL imej asal.)

persediaan persekitaran konda dan pemasangan aliran udara:

Sahkan versi conda anda (

).

1. conda --ver Buat persekitaran conda ().

2. mengaktifkan persekitaran (conda create -n airflow python=3.8).

3. Pasang redis (conda activate airflow), aktifkannya (

   ), dan periksa statusnya ().

4. apt install -y redis-server sudo systemctl enable redis-server sudo systemctl status redis-server Pasang

   (

   ).

5. Pasang kebergantungan yang diperlukan ().

6. Pasang Airflow (pip install "apache-airflow[celery]==2.8.1" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.1/constraints-3.8.txt").

Menyambung aliran udara ke pangkalan data Vultr:

1. Tetapkan pembolehubah persekitaran AIRFLOW__DATABASE__SQL_ALCHEMY_CONN menggunakan kelayakan pangkalan data anda (merujuk pangkalan data Airflow-PGSQL). (Tangkapan skrin yang serupa dengan asal akan dimasukkan di sini, merujuk url imej asal.)
2. Mulakan pangkalan data metadata aliran udara (). airflow db init
Konfigurasi
3. , menetapkan pelaksana kepada airflow.cfg, mengemas kini CeleryExecutor (menggunakan AirFlow-PGSQL), pekerja dan pencetus Port Log (8794 dan 8795), sql_alchemy_conn (broker_url), dan redis://localhost:6379/0 (menggunakan aliran udara). (Tangkapan skrin yang serupa dengan asal akan dimasukkan di sini, merujuk url imej asal.) result_backend
Buat pengguna aliran udara (
4. ). (Ingat untuk menggantikan ruang letak dengan nilai sebenar). airflow users create ...

Perkhidmatan aliran udara daemonisasi:

Buat dan aktifkan fail perkhidmatan Systemd untuk Webserver Airflow, Penjadual, dan Pekerja Saderi untuk memastikan mereka berjalan secara berterusan di latar belakang. Ini melibatkan membuat fail

(mis., .service) dengan laluan airflow-webserver.service yang sesuai dan tetapan pengguna/kumpulan, kemudian membolehkan dan memulakannya menggunakan ExecStart. (Tangkapan skrin yang serupa dengan asal akan dimasukkan di sini, merujuk kepada URL imej asal.) systemctl

konfigurasi proksi terbalik nginx:

Sediakan nginx sebagai proksi terbalik untuk meningkatkan keselamatan dan skalabiliti. Ini termasuk memasang nginx, mewujudkan fail konfigurasi hos maya (

) untuk permintaan proksi ke webserver aliran udara (port 8080), dan membolehkan konfigurasi. Ingatlah untuk mengkonfigurasi peraturan firewall untuk membolehkan trafik HTTP (port 80) dan HTTPS (port 443). (Tangkapan skrin yang serupa dengan asal akan dimasukkan di sini, merujuk url imej asal.)

airflow.conf

mari menyulitkan sijil SSL:

Akhirnya, dapatkan dan pasangkan sijil SSL dari Let's Encrypt menggunakan CertBot. Ini menjamin aplikasi aliran udara anda dengan HTTPS. Proses ini melibatkan memasang CertBot, mendapatkan sijil (

), dan menguji pembaharuan auto. (Tangkapan skrin yang serupa dengan asal akan dimasukkan di sini, merujuk url imej asal.)

certbot --nginx -d airflow.example.com

Kesimpulan:

Butiran panduan komprehensif ini menggunakan aplikasi aliran udara yang mantap dan selamat di Vultr, menggunakan Conda, Nginx, dan mari enkripsi. Hasilnya adalah sistem pengurusan aliran kerja yang siap, berskala, dan selamat.

Atas ialah kandungan terperinci Cara Menyebarkan Aliran Air Apache di Vultr menggunakan Anaconda. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!