使用 AWS 和 OpenWeatherMap API 构建天气数据分析管道

这篇博文将指导您使用 OpenWeatherMap API 和 AWS 服务构建天气数据分析管道。 该管道获取天气数据，将其存储在 S3 中，使用 AWS Glue 对其进行编目，并允许使用 Amazon Athena 进行查询。

项目概览

该项目创建了一个可扩展的数据管道，用于从多个城市获取天气数据，将其存储在 AWS S3 中，通过 AWS Glue 对其进行编目，并支持使用 Amazon Athena 进行查询。

初始架构和架构图

项目结构和先决条件

开始之前，请确保您拥有：

1. Docker：本地安装。
2. AWS 帐户： 具有必要的权限（S3 存储桶、Glue 数据库、Glue 爬网程序）。
3. OpenWeatherMap API 密钥： 从 OpenWeatherMap 获取。

设置指南

1. 克隆存储库：

   git clone https://github.com/Rene-Mayhrem/weather-insights.git
   cd weather-data-analytics

2. 创建 .env 文件： 使用您的 AWS 凭证和 API 密钥在根目录中创建 .env 文件：

   <code>AWS_ACCESS_KEY_ID=<your-access-key-id>
   AWS_SECRET_ACCESS_KEY=<your-secret-access-key>
   AWS_REGION=us-east-1
   S3_BUCKET_NAME=<your-s3-bucket-name>
   OPENWEATHER_API_KEY=<your-openweather-api-key></code>

3. 创建 cities.json: 创建 cities.json 列出城市：

   {
     "cities": [
       "London",
       "New York",
       "Tokyo",
       "Paris",
       "Berlin"
     ]
   }

4. Docker Compose： 构建并运行：

   docker compose run terraform init
   docker compose run python

用法

1. 验证基础设施：检查 Terraform 是否在 AWS 控制台中创建了 AWS 资源（S3、Glue 数据库、Glue 爬虫）。

2. 验证数据上传：确认 Python 脚本已通过 AWS 控制台将天气数据（JSON 文件）上传到您的 S3 存储桶。

3. 运行 Glue Crawler： Glue 爬虫应该自动运行；在 Glue 控制台中验证其执行和数据编目。

4. 使用 Athena 查询： 使用 AWS 管理控制台访问 Athena 并对编目数据运行 SQL 查询。

关键组件

• Docker：为Python和Terraform提供一致的环境。
• Terraform：管理 AWS 基础设施（S3、Glue、Athena）。
• Python： 获取天气数据并将其上传到 S3。
• 胶水：目录S3数据。
• Athena:查询编目数据。

结论

本指南帮助您使用 AWS 和 OpenWeatherMap 构建可扩展的天气数据分析管道。 该管道可以轻松扩展以包含更多城市或数据源。

以上是使用 AWS 和 OpenWeatherMap API 构建天气数据分析管道的详细内容。更多信息请关注PHP中文网其他相关文章！