Postgresを使用したMage AIをセットアップします

プロセスを合理化し、リアルタイム情報を生成するための効率的なデータパイプラインを作成することを任されているデータプロフェッショナルとして自分自身を想像してください。挑戦的ですね。そこで、Mage AIが登場するために、オンラインで運営する貸し手が競争力を高めることを保証します。これを想像してください。したがって、深いセットアップや一定のコーディングを必要とする他の多くの拡張機能とは異なり、Mage AIには明確で段階的なステップバイステップのセットアップがあり、アイテムをドラッグアンドドロップすることなくクリアインターフェイスを使用できます。また、Mage AIを使用して最初のデータパイプラインを作成できるように、Mage AIをPostgreSQLでインポートする方法も共有します。データ処理をさらに改善するのに役立つ手順を紹介してください！

学習成果

• PostgreSQLとのシームレスな統合のためにMage AIを構成する方法を理解してください。
• 生データをアップロードすることを学び、psgreSQLにPGADMIN4を使用してスキーマを作成します。
• Mage AIのデータパイプラインの構築と管理のプロセスを習得します。
• 自動トリガーをセットアップし、データパイプラインのスケジュールを設定する方法を調べます。
• リアルタイムの処理や監視などのMage AIの高度な機能に関する洞察を得る。

この記事は、データサイエンスブログソンの一部として公開されました。

目次

• 学習成果
• メイジAIとは何ですか？
• データパイプラインを構築および管理するためのpostgresを備えたメイジAIをセットアップ
  • ステップ1：Postgresデータベースの準備
  • ステップ2：ポストグレスの構成の詳細を収集します
  • ステップ3：VSコードでDockerを使用してMage AIのインストール
  • ステップ4：Mage AIをPostgresに接続するように構成します
  • ステップ5：最初のデータパイプラインの作成
  • ステップ6：トリガーの作成とパイプラインのスケジューリング
• メイジAIの追加機能
• 結論
• よくある質問

メイジAIとは何ですか？

Mage AIは、オープンソースツールとしての成長データワークフローの統合を簡素化します。クリーンなデザインとアプリのようなインターフェイスにより、データエンジニアとアナリストは、ワンクリックオプションを使用してデータパイプラインを簡単に作成でき、コーディングの必要性を排除できます。ドラッグアンドドロップ、データ変換、データソースの互換性などの機能が付属するMage AIでは、ビッグデータのインポート、分析、および操作がはるかに簡単です。前者により、ユーザーは、基礎となるインフラストラクチャをセットアップするのではなく、分析側に時間を費やすことができます。 Mage AIは、Python Scriptingをサポートしています。ここでは、技術的なユーザーと非技術的なユーザーである両方に適したカスタム変換を定義できます。

Mage AIをPostgreSQLで使用することの利点

PostgreSQLでMage AIを使用することの利点を調べてみましょう。

• 合理化されたデータ管理：Mage AIは、ドラッグアンドドロップインターフェイスでデータパイプラインの作成を簡素化し、手動コーディングなしでPostgreSQLからデータを簡単に読み込み、変換し、エクスポートできます。
• 強化された自動化：トリガーとスケジュールされたパイプラインをセットアップすることにより、ETLプロセスなどの繰り返しのデータタスクを自動化し、一定の手動介入の必要性を減らします。
• シームレスな統合：Mage AIはPostgreSQLとスムーズに統合され、ユーザーが大規模なデータセットを効率的に管理し、同じワークフロー内で複雑なデータ操作を実行できるようにします。
• カスタマイズ可能な変換：Mage AIでPythonスクリプトを活用して、PostgreSQLデータでカスタムデータ変換を実行し、高度なデータ処理の柔軟性を可能にします。
• スケーラブルで信頼性：Mage AIはパイプラインを効率的に管理し、小規模および大規模なデータセットの両方のスムーズな処理を確保し、PostgreSQLのスケーラビリティはパフォーマンスボトルネックなしでビジネスの成長をサポートします。
• ユーザーフレンドリー：直感的なインターフェイスにより、さまざまなレベルの技術的専門知識を持つユーザーがアクセスしやすく、データソリューションの迅速な学習と迅速な展開を可能にします。

データパイプラインを構築および管理するためのpostgresを備えたメイジAIをセットアップ

Mage AIをPostgresでセットアップすると、強力なデータパイプラインをシームレスに構築および管理し、ワークフローの自動化、効率的な洞察のための複雑なデータタスクを簡素化できます。 Postgresを使用してMage AIをセットアップするために必要な手順を調べてみましょう。

ステップ1：Postgresデータベースの準備

Mage AIに飛び込む前に、RAWデータファイルをPGADMIN4を使用してPOSTGREにアップロードし、各ファイルの正しいスキーマを作成します。開始方法は次のとおりです。

pgadmin4を介してpostgresにRawファイルをアップロードします

• PGADMIN4を開き、Postgresサーバーに接続します。
• 新しいデータベースを作成するか、既存のデータベースを使用します。
• RAWデータファイルごとに正しいスキーマを追加してください。
• このスキーマ内の適切なテーブルにデータファイルをアップロード/エクスポートします。

 PDとしてパンダをインポートします
インポートチャード

＃バイナリモードでファイルを開き、サンプルを読む
open（ "expensemaster.csv"、 'rb'）として：
    sample = file.read（10000）＃サンプルとして最初の10,000バイトを読む

＃エンコーディングを検出します
検出= chardet.detect（サンプル）
印刷（検出された['エンコード']）

＃検出されたエンコードを使用して、CSVを読み取ります
試す：
    df = pd.read_csv（ "expensemaster.csv"、encoding =検出['encoding']）
UnicodedeCodeErrorを除く：
    ＃読みが失敗した場合は、UTF-8のような一般的なエンコードで試してください
    df = pd.read_csv（ "expensemaster.csv"、encoding = "utf-8"）

＃データ型を推測します
dtype_mapping = {
    「オブジェクト」：「テキスト」、
    'int64'： 'bigint'、
    'float64'： 'ダブル精度'、
    'DateTime64 [NS]'： 'Timestamp'、
    「ブール」：「ブール」
}

column_definitions = '、' .jein（[f '"{col}" {dtype_mapping [str（df [col] .dtype）]}' df.columnsのcolの} ']））

＃作成テーブルSQLを生成します
table_name = 'expensemaster'
create_table_sql = f'create table {table_name}（{column_definitions}）; '
print（create_table_sql）

「テーブル」をクリックして、新しく作成したテーブルを取得します。

Postgresサービスを開始します

Postgresサービスが実行されていることを確認してください。これをPGADMIN4またはPSQL端子を使用して確認できます。

ステップ2：ポストグレスの構成の詳細を収集します

Mage AIをPostgresで構成するには、特定の詳細が必要です。これがあなたが必要とするものとそれを見つける方法です：

• postgres_dbname ：postgresデータベースの名前。
• Postgres_schema ：データファイルがアップロードされるスキーマ。
• Postgres_user ：Postgresデータベースのユーザー名。
• postgres_password ：postgresデータベースのパスワード。
• Postgres_host ：PostgresサーバーのホストIPアドレス。
• postgres_port ：通常、postgresの場合は5432です。

ステップ3：VSコードでDockerを使用してMage AIのインストール

Mage AIをインストールするには、Visual Studioコード（VSコード）でDocker拡張機能を使用します。 DockerデスクトップとVSコードのDocker拡張機能がインストールされていることを確認してください。

Dockerデスクトップをインストールします

ここからDockerデスクトップをダウンロードしてインストールし、初期化します。

VSコードのDocker拡張子をインストールします。

• コードを開き、ウィンドウの側面にあるアクティビティバーの拡張機能アイコンをクリックするか、Ctrl Shift xを押して拡張機能ビューに移動します。
• 「Docker」を検索し、MicrosoftによるDocker拡張機能をインストールします。

Mage AI Docker画像を引っ張ります

• VSコードで端末を開き、プロジェクトフォルダーに移動します。
• 次のコマンドを実行して、最新のMage AI Docker画像をプルします。

 Docker Pull Mageai/Mageai：最新

Mage AI Docker画像を実行します

• Mage AIの画像が引かれたら、VSコードのDockerタブに移動します。
• 魔術師AIの画像を見つけて実行します。これにより、新しいコンテナが作成されます。
• 新しく作成されたコンテナを右クリックして、[ブラウザで開く]を選択します。
• Mage AIインターフェイスは、デフォルトのWebブラウザーにロードするようになりました。

ステップ4：Mage AIをPostgresに接続するように構成します

io_config.yamlでデータベース接続を構成します：

• パイプラインのすべてのファイルセクションに移動します。
• io_config.yamlファイルを見つけて開きます。
• 次のようにPostgres接続の詳細を追加します

Mage AIがPostgresデータベースにアクセスできるようにします

• IPアドレスのデータベースへのアクセスを許可するには、PG_HBA.CONFファイルを変更する必要があります。
• C：\ Program Files \ postgreSql \ 16 \ dataでPG_HBA.CONFファイルを見つけます。
• 図4に示すように、ファイルを開き、＃ipv4ローカル接続セクションの下に行を追加します。

ステップ5：最初のデータパイプラインの作成

Mage AIがPostgresに接続するように構成されたため、最初のデータパイプラインを作成できます。各データセットのデータローダーブロックを設定し、ドラッグアンドドロップ機能を使用してフローチャートに接続することから始めます。

データローダーブロックを作成します

• 各データセットについて、別のデータローダーブロックを作成します。
• Mage AIインターフェイスでは、Postgresからロードする必要がある各データセットのデータローダーブロックをキャンバスにドラッグアンドドロップします。
• 適切な接続の詳細とクエリで各データローダーブロックを構成して、Postgresからデータを取得します。

データローダーブロックを変圧器ブロックに接続します

ドラッグアンドドロップ機能を使用して、フローチャート内のデータローダーブロックを次のトランスコードブロックに接続します。この視覚表現は、データフローを理解し、すべてのステップが正しく接続されるようにするのに役立ちます。

データエクスポートブロックの作成

• Mage AIインターフェイスでは、データローダーと変換ブロックを構成した後、データ輸出ブロックをキャンバスに追加します。
• Pythonの下のデータの宛先として「Postgres」を選択します。
• 必要な接続の詳細をPostgresデータベースに提供します。 TransformedデータをPostgreSQLデータベースにエクスポートするためにコードを記述します。

ステップ6：トリガーの作成とパイプラインのスケジューリング

Mage AIは、パイプラインを実行し、定期的な実行のためにスケジュールするためのトリガーを作成する機能を提供します。これにより、手動介入なしでデータが常に最新の状態になることが保証されます。

トリガーを作成します

• Mage AIでは、特定のイベントまたは条件に基づいてパイプラインを実行するようにトリガーを設定できます。たとえば、Postgresデータベースに新しいデータが追加されるたびに、パイプラインをトリガーして実行できます。
• トリガーを作成するには、パイプライン設定に移動し、必要に応じてトリガー条件を構成します。

パイプラインのスケジュール

• Mage AIは、定期的にパイプラインのスケジューリングをサポートしています。これは、Mage AIダッシュボードのスケジューリング設定を介して実行できます。
• 周波数（毎日、毎週など）とパイプラインが実行される時間を指定できます。

メイジAIの追加機能

Mage AIは、データパイプラインを自動化および強化するためのいくつかの強力な機能を提供します。

• 複数のデータソースとの統合： Mage AIは、データベース、クラウドストレージ、APIの多数の種類のデータ入力も受け入れ、多様で広範なデータフローを構築できます。
• 高度な変換機能： Pythonに基づいて、Mage AIは、さまざまなデータ変換アルゴリズムの実現プロセスを促進するデコレーターの助けを借りて、カスタム変換を実装する機会を提供します。
• スケーラビリティ： Mage AIは、ビッグデータのスループットを最適化し、成長に応じてますます多くのデータを処理できるようにします。
• 監視とアラート： Mage AIは、強力な監視とアラート機能を提供し、パイプラインのワークフローを監視し、障害に関する通知を受け取ることができます。
• ユーザーフレンドリーインターフェイス：データパイプラインのグラフィカルなレイアウトは、データを操作および変換するために複雑なコーディングを心配する必要がないことを意味します。

Mage AIをデータワークフローをデータインフラストラクチャとして自動化するためのツールにして、多くの時間を費やす必要がないようにします。

結論

今日、情報は貴重な資産であり、組織にとってデータ管理が不可欠になっています。この記事では、PostgreSQLを使用してMage AIの構成に関する明確なガイダンスを提供し、複数のプロセスを合理化するだけでなく、生産性を大幅に向上させる堅牢なデータパイプラインを構築するのに役立ちます。ソフトウェアアソシエイトとともに、Mage AIの使用は、PostgreSQLなどの堅牢なデータベースとともに、ユーザーが可能な限り短い時間で適切な決定を処理、分析、および行うことができます。組織がデータ駆動型の方法論とフレームワークの取り組みを強化したため、Mage AIなどのテクノロジーは、データを管理するための支配的なモデルになりました。

Githubでこの記事の背後にあるコードを調べてください！

よくある質問

Q1。メイジAIとは何ですか？

A. Mage AIは、データワークフローの構築と管理のプロセスを簡素化するために設計されたオープンソースツールです。データの専門家が広範なコーディングの知識なしにパイプラインを作成するのに役立つユーザーフレンドリーなインターフェイスと自動化機能を提供します。

Q2。なぜMage AIでPostgreSQLを使用するのですか？

A. PostgreSQLは、その堅牢性とスケーラビリティで知られている強力なオープンソースのリレーショナルデータベース管理システムです。 Mage AIと組み合わせると、ユーザーは大規模なデータセットを効率的に保存、取得、操作できるようになり、データパイプラインに理想的な選択肢になります。

Q3。 Mage AIを使用するにはプログラミングスキルが必要ですか？

A.プログラミングの概念に精通していることは役立ちますが、Mage AIは、さまざまなレベルの技術的専門知識を持つユーザーがユーザーフレンドリーでアクセスできるように設計されています。多くのタスクは、直感的なインターフェイスを通じて実現できます。

Q4。他のデータソースをMage AIと統合できますか？

A.はい、Mage AIはさまざまなデータソースとの統合をサポートし、ユーザーが複数のプラットフォームからデータを引き込む包括的なデータパイプラインを構築し、データエコシステム全体を強化することができます。

Q5。メイジAIは自由に使用できますか？

A. Mage AIはオープンソースツールです。つまり、自由に使用できることを意味します。ただし、ユーザーは、インフラストラクチャの選択に応じて、ホスティング、ストレージ、およびその他の関連サービスに関連するコストを負担する場合があります。

この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。

以上がPostgresを使用したMage AIをセットアップしますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。