AWS と OpenWeatherMap API を使用して気象データ分析パイプラインを構築する

このブログ投稿では、OpenWeatherMap API と AWS サービスを使用して気象データ分析パイプラインを構築する方法を説明します。 このパイプラインは気象データを取得し、S3 に保存し、AWS Glue でカタログ化し、Amazon Athena でクエリできるようにします。

プロジェクト概要

このプロジェクトは、複数の都市から気象データを取得し、AWS S3 に保存し、AWS Glue 経由でカタログ化し、Amazon Athena を使用したクエリを可能にする、スケーラブルなデータ パイプラインを作成します。

初期アーキテクチャとアーキテクチャ図

プロジェクトの構造と前提条件

始める前に、次のものが揃っていることを確認してください。

1. Docker: ローカルにインストールされています。
2. AWS アカウント: 必要な権限 (S3 バケット、Glue データベース、Glue クローラー) を持つ。
3. OpenWeatherMap API キー: OpenWeatherMap から取得します。

セットアップガイド

1. リポジトリのクローンを作成します:

   <code class="language-bash">git clone https://github.com/Rene-Mayhrem/weather-insights.git
   cd weather-data-analytics</code>

2. .env ファイルを作成します: AWS 認証情報と API キーを使用して、ルート ディレクトリに .env ファイルを作成します:

   <code>AWS_ACCESS_KEY_ID=<your-access-key-id>
   AWS_SECRET_ACCESS_KEY=<your-secret-access-key>
   AWS_REGION=us-east-1
   S3_BUCKET_NAME=<your-s3-bucket-name>
   OPENWEATHER_API_KEY=<your-openweather-api-key></code>

3. cities.json を作成します: 都市をリストする cities.json を作成します:

   <code class="language-json">{
     "cities": [
       "London",
       "New York",
       "Tokyo",
       "Paris",
       "Berlin"
     ]
   }</code>

4. Docker Compose: ビルドして実行:

   <code class="language-bash">docker compose run terraform init
   docker compose run python</code>

使用法

1. インフラストラクチャの検証: Terraform が AWS コンソールで AWS リソース (S3、Glue データベース、Glue クローラー) を作成したかどうかを確認します。

2. データアップロードの確認: AWS コンソールを介して、Python スクリプトが気象データ (JSON ファイル) を S3 バケットにアップロードしたことを確認します。

3. Glue クローラーの実行: Glue クローラーは自動的に実行されます。 Glue コンソールでの実行とデータ カタログ化を確認します。

4. Athena によるクエリ: AWS マネジメントコンソールを使用して Athena にアクセスし、カタログ化されたデータに対して SQL クエリを実行します。

主要コンポーネント

• Docker: Python と Terraform に一貫した環境を提供します。
• Terraform: AWS インフラストラクチャ (S3、Glue、Athena) を管理します。
• Python: 気象データを取得して S3 にアップロードします。
• 接着剤: S3 データをカタログします。
• Athena: カタログ化されたデータをクエリします。

結論

このガイドは、AWS と OpenWeatherMap を使用してスケーラブルな気象データ分析パイプラインを構築するのに役立ちます。 パイプラインは簡単に拡張して、より多くの都市やデータ ソースを含めることができます。

以上がAWS と OpenWeatherMap API を使用して気象データ分析パイプラインを構築するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。