Automatisieren von CSV zu postgresql Einnahme mit Luftstrom und Docker

Dieses Tutorial zeigt, dass das Erstellen einer robusten Datenpipeline mit Apache Airflow, Docker und PostgreSQL erstellt wird, um die Datenübertragung von CSV -Dateien in eine Datenbank zu automatisieren. Wir werden Kern -Luftstromkonzepte wie DAGs, Aufgaben und Betreiber für ein effizientes Workflow -Management abdecken.

Dieses Projekt zeigt, dass eine zuverlässige Datenpipeline erstellt wird, die CSV -Daten liest und in eine PostgreSQL -Datenbank schreibt. Wir werden verschiedene Luftstromkomponenten integrieren, um eine effiziente Datenbehandlung zu gewährleisten und die Datenintegrität aufrechtzuerhalten.

Lernziele:

• Gassen Sie Core Apache -Luftstromkonzepte: DAGs, Aufgaben und Operatoren.
• Richten Sie den Apache -Luftstrom mit Docker für die Workflow -Automatisierung ein und konfigurieren Sie sie.
• Integrieren Sie PostgreSQL für die Datenverwaltung in Luftstrom -Pipelines.
• Master -Lesen von CSV -Dateien und Automatisierung der Dateninsertion in eine PostgreSQL -Datenbank.
• Erstellen und bereitstellen skalierbare, effiziente Datenpipelines mit Luftstrom und Docker.

Voraussetzungen:

• Docker Desktop, VS Code, Docker Compose
• Grundes Verständnis von Docker -Containern und -befehlen
• Grundlegende Linux -Befehle
• Grundlegendes Pythonwissen
• Erleben Sie den Aufbau von Docker -Bildern aus Dockerfiles und verwenden Docker Compose

Was ist Apache Airstrow?

Apache AirFlow (AirFlow) ist eine Plattform für programmgesteuertes Autoring, Planen und Überwachung von Workflows. Das Definieren von Workflows als Code verbessert die Wartbarkeit, die Versionskontrolle, das Testen und die Zusammenarbeit. Die Benutzeroberfläche vereinfacht die Visualisierung von Pipelines, die Überwachung des Fortschritts und die Fehlerbehebung.

Luftstromterminologie:

• Workflow: Ein Schritt-für-Schritt-Prozess, um ein Ziel zu erreichen (z. B. einen Kuchen backen).
• DAG (Directed Acyclic Graph): Ein Workflow -Entwurf, der Aufgabenabhängigkeiten und Ausführungsreihenfolge zeigt. Es ist eine visuelle Darstellung des Workflows.
• Aufgabe: Eine einzelne Aktion in einem Workflow (z. B. Mischung von Zutaten).
• Bediener: Bausteine ​​von Aufgaben, Definieren von Aktionen wie Ausführen von Python -Skripten oder Ausführung von SQL. Zu den wichtigsten Betreibern gehören PythonOperator , DummyOperator und PostgresOperator .
• XCOMS (Cross-Communications): Aktivieren Sie Aufgaben, Daten zu kommunizieren und zu teilen.
• Verbindungen: Verwalten Sie Anmeldeinformationen für die Verbindung zu externen Systemen (z. B. Datenbanken).

Einrichten von Apache Airstrow mit Docker und Dockerfile:

Die Verwendung von Docker sorgt für eine konsistente und reproduzierbare Umgebung. Eine Dockerfile automatisiert die Bilderstellung. Die folgenden Anweisungen sollten als Dockerfile gespeichert werden (keine Erweiterung):

 Aus Apache/Luftstrom: 2.9.1-Python3.9
Benutzer root
Kopieren usads.txt /Requirements.txt
PIP3-Installieren-upgrade pip && pip3 install-no-cache-dir -r /Requirements.txt
Rühren Sie PIP3 aus und installieren Sie Apache-Airflow-Providers-Apache-Spark Apache-Airflow-Providers-Amazon
Führen Sie APT-Get-Update && apt-Get Install -y GCC Python3-dev openjdk-17-jdk && apt-Get Clean aus

Diese Dockerfile verwendet ein offizielles Luftstrombild, installiert Abhängigkeiten von requirements.txt .

Docker Compose Configuration:

docker-compose.yml orchestriert die Docker-Container. Die folgende Konfiguration definiert Dienste für Webserver, Scheduler, Triggerer, CLI, Init und PostgreSQL. Beachten Sie die Verwendung des x-airflow-common Abschnitts für gemeinsam genutzte Einstellungen und die Verbindung zur PostgreSQL-Datenbank. (Der vollständige docker-compose.yml ist zu lang, um hier einzuschließen, aber die wichtigsten Abschnitte sind oben dargestellt).

Projekt -Setup und Ausführung:

1. Erstellen Sie ein Projektverzeichnis.
2. Fügen Sie die Dateien Dockerfile und docker-compose.yml hinzu.
3. Erstellen Sie requirements.txt
4. Führen Sie docker-compose up -d durch, um die Container zu starten.
5. Greifen Sie auf die Airflow UI unter http://localhost:8080 zu.
6. Erstellen Sie eine PostgreSQL -Verbindung in der Air -Flow -Benutzeroberfläche (mithilfe von write_to_psql als Verbindungs ​​-ID).
7. Erstellen Sie eine Beispiel input.csv -Datei.

Dag und Python -Funktion:

Der Luftstrom -DAG ( sample.py ) definiert den Workflow:

• Ein PostgresOperator erstellt die Datenbanktabelle.
• Ein PythonOperator ( generate_insert_queries ) liest den CSV und generiert SQL INSERT -Anweisungen, wodurch sie in dags/sql/insert_queries.sql speichert.
• Ein anderer PostgresOperator führt den generierten SQL aus.

(Der vollständige sample.py -Code ist zu lang, um hier einzuschließen, aber die Schlüsselabschnitte sind oben angezeigt.)

Abschluss:

Dieses Projekt zeigt eine vollständige Datenpipeline mit Luftstrom, Docker und PostgreSQL. Es unterstreicht die Vorteile der Automatisierung und die Verwendung von Docker für reproduzierbare Umgebungen. Die Verwendung von Operatoren und die DAG -Struktur ist der Schlüssel zum effizienten Workflow -Management.

(Die verbleibenden Abschnitte, einschließlich FAQs und Github Repo, sind für die Kürze weggelassen. Sie sind im ursprünglichen Eingang vorhanden.)

Das obige ist der detaillierte Inhalt vonAutomatisieren von CSV zu postgresql Einnahme mit Luftstrom und Docker. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!