Amazon AthenaでAWS接着クローラーの使用方法

データの専門家として、さまざまなソースから大量のデータを処理する必要があります。これは、データ管理と分析に課題をもたらす可能性があります。幸いなことに、AWS GlueとAmazon Athenaの2つのAWSサービスが役立ちます。

これらのサービスを統合すると、AWSエコシステムでのデータ発見、カタログ、クエリをリリースします。データ分析ワークフローを簡素化する方法を理解しましょう。

AWS接着剤とは何ですか？

AWS Glueは、複数のソースからデータを発見、準備、移動、統合できるサーバーレスホスティングサービスです。データ統合サービスとして、AWS Glueを使用すると、インフラストラクチャを管理せずにデータの場所を中央に管理できます。

AWS Glue Crawlerとは何ですか？

Glue Crawlerは、データをスキャンする自動データディスカバリーツールで、そのデータを自動的に分類、グループ、カタログ化します。次に、新しいテーブルを作成するか、AWS Glueデータに既存のテーブルディレクトリを更新します。

接着剤データディレクトリとは何ですか？

AWS Glue Data Directoryは、データロケーションのインデックス、スキーマ、およびランタイムメトリックです。抽出、変換（ETL）ジョブを作成および監視するには、この情報が必要です。

なぜAmazon AthenaとAWS Glueを使用するのですか？

Amazon Athena、AWS Glue、およびAWS Glue Crawlersの基本をカバーしたので、それらをより深い方法で議論しましょう。

4つの主要なAmazon Athenaのユースケース

Amazon Athenaは、ペタバイトのデータを分析するための簡素化された柔軟な方法を提供します。たとえば、Athenaは、Amazon Simple Storage Service（S3）のデータを分析したり、SQLまたはPythonを使用してオンプレミスのデータソースやその他のクラウドシステムを含むアプリケーションデータ湖と30のデータソースを構築できます。

Amazon Athenaには4つの主要なユースケースがあります。

1. S3、オンプレミスのデータセンター、またはその他のクラウドでクエリを実行する

2. 機械学習モデルのデータを準備します

3. SQLクエリまたはPythonで機械学習モデルを使用した、異常検出、顧客グループ分析、販売予測などの複雑なタスクを簡素化する

4. マルチクラウド分析（Azureのデータのクエリなど）を実行し、Synapse Analyticsを視覚化し、Amazon QuickSightで視覚化します）

3キーAWS接着剤ユースケース

Amazon Athenaを紹介したので、AWS Glueについて話しましょう。 AWS接着剤を使用して、いくつかの異なるアクションを実行できます。

まず、AWS Glue Data Integration Engineを使用できます。これにより、いくつかの異なるソースからデータを取得できます。これには、Amazon S3、Amazon Dynamodb、およびAmazon RDS、およびAmazonで実行されているデータベースEC2（AWS Glue Studiosと統合）と、Ray、Python Shell、Apache SparkのAWS接着剤が含まれます。

データが接続されてフィルタリングされると、データがロードまたは作成された場所に接続でき、このリストはAmazon Redshift、Data Lakes、Data Warehousesなどの場所に拡張できます。

AWS接着剤を使用してETLジョブを実行することもできます。これらのタスクを使用すると、顧客データを分離し、顧客データを送信して現場で保護し、顧客のニーズに応答する場合にのみ顧客データ要求にアクセスできます。 ETLジョブを構成するとき、必要なのは、仮想プライベートに入力データソースと出力データターゲットクラウドを提供することだけです。

AWS接着剤を使用する最後の方法は、データを移動せずにデータカタログを介して複数のAWSデータセットをすばやく発見および検索することです。データカタログの後、Amazon Athena、Amazon EMR、およびAmazon Redshiftを使用して、Spectrumを検索およびクエリするためにすぐに使用できます。

AWS接着剤を始めましょう：AWS接着剤からAmazon Athenaにデータを取得する方法

それでは、AWSの接着剤からAmazon Athenaにデータを取得するにはどうすればよいですか？これらの手順に従ってください：

1. 最初にデータをデータソースにアップロードします。最も人気のあるオプションはS3バケットですが、DynamodBテーブルとAmazon Redshiftもオプションです。

2. データソースを選択し、必要に応じて分類器を作成します。分類器はデータを読み取り、パターン（満たされている場合）を生成して形式を識別します。カスタム分類子を作成して、さまざまなデータ型を表示できます。

3. クローラーを作成します。

4. クローラーの名前を設定し、データソースを選択し、カスタム分類子を追加して、AWS接着剤がデータを正しく認識していることを確認します。

5. IDおよびアクセス管理（IAM）の役割を設定して、Crawlerがプロセスを正しく実行するようにします。

6. データセットを保存するデータベースを作成します。クローラーのランタイムと頻度を設定して、データを最新に保ちます。

7. クローラーを実行します。このプロセスには、データセットの大きさに応じて、しばらく時間がかかります。クローラーが正常に実行された後、データベース内のテーブルの変更を表示します。

このプロセスが終了したので、Amazon Athenaにジャンプして、データをフィルタリングして探している結果を取得するために必要なクエリを実行できます。

以上がAmazon AthenaでAWS接着クローラーの使用方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。