自动化CSV以使用气流和Docker摄入PostgreSQL

该教程演示了使用Apache Airffore，Docker和PostgreSQL构建强大的数据管道，以使数据传输从CSV文件自动化到数据库。我们将介绍核心气流概念，例如DAG，任务和运营商，以进行有效的工作流程管理。

该项目展示了创建可靠的数据管道，该数据管线读取CSV数据并将其写入PostgreSQL数据库。我们将集成各种气流组件，以确保有效的数据处理和维护数据完整性。

学习目标：

• 掌握核心Apache气流概念：DAG，任务和操作员。
• 用Docker设置并配置Apache Airffor，以进行工作流动自动化。
• 将PostgreSQL集成以在气流管道内进行数据管理。
• 掌握读取CSV文件并将数据插入到PostgreSQL数据库中。
• 使用气流和Docker构建和部署可扩展，高效的数据管道。

先决条件：

• Docker Desktop，VS代码，Docker组成
• 对Docker容器和命令的基本理解
• 基本Linux命令
• 基本的Python知识
• 体验从Dockerfiles构建Docker图像并使用Docker组成

什么是Apache气流？

Apache气流（气流）是用于编程，调度和监视工作流程的平台。将工作流定义为代码可改善可维护性，版本控制，测试和协作。其用户界面简化了可视化管道，监视进度和故障排除。

气流术语：

• 工作流程：实现目标的分步过程（例如，烤蛋糕）。
• DAG（有向无环图）：一个工作流蓝图显示任务依赖性和执行顺序。这是工作流程的视觉表示。
• 任务：工作流程中的一个动作（例如，混合成分）。
• 操作员：任务的构建块，定义操作诸如运行Python脚本或执行SQL之类的操作。关键操作员包括PythonOperator ， DummyOperator和PostgresOperator 。
• XCOMS（交叉通信）：启用任务可以通信和共享数据。
• 连接：管理连接到外部系统（例如数据库）的凭据。

使用Docker和Dockerfile设置Apache气流：

使用Docker确保一个一致且可再现的环境。 Dockerfile自动创建图像。以下说明应保存为Dockerfile （无扩展）：

来自Apache/气流：2.9.1-Python3.9
用户根
复制要求.txt /requirentess.txt
运行pip3 install-upgrade pip && pip3 install -no-cache-dir -r /requirentess.txt
运行pip3安装apache-airflow-providers-apache-spark-spark-apache-air flow-providers-amazon
运行apt-get update && apt-get安装-y gcc python3-dev openjdk-17-jdk && apt-get get clean

此Dockerfile使用官方的气流图像，从requirements.txt安装依赖项。

Docker组成配置：

docker-compose.yml精心策划Docker容器。以下配置定义了网络服务器，调度程序，触发器，CLI，INIT和POSTGRESQL的服务。请注意x-airflow-common部分用于共享设置以及与PostgreSQL数据库的连接。 （完整的docker-compose.yml太长在这里包括，但上面显示了关键部分）。

项目设置和执行：

1. 创建一个项目目录。
2. 添加Dockerfile和docker-compose.yml文件。
3. 创建requirements.txt列出必要的python软件包（例如pandas）。
4. 运行docker-compose up -d以启动容器。
5. 访问http://localhost:8080气流UI。
6. 在气流UI中创建PostgreSQL连接（使用write_to_psql作为连接ID）。
7. 创建示例input.csv文件。

dag和python函数：

气流dag（ sample.py ）定义了工作流程：

• PostgresOperator创建数据库表。
• PythonOperator （ generate_insert_queries ）读取CSV并生成SQL INSERT语句，将其保存到dags/sql/insert_queries.sql 。
• 另一个后PostgresOperator执行生成的SQL。

（完整的sample.py代码太长在这里包括，但关键部分如上所述）。

结论：

该项目使用气流，Docker和PostgreSQL展示了完整的数据管道。它突出了自动化的好处以及将Docker用于可再现环境的好处。运算符和DAG结构的使用是有效工作流程管理的关键。

（其余部分，包括常见问题解答和GitHub储物库，省略为简洁。它们存在于原始输入中。）

以上是自动化CSV以使用气流和Docker摄入PostgreSQL的详细内容。更多信息请关注PHP中文网其他相关文章！