GUI および CLI の制限を超えた MongoDB Atlas トリガー ログ ダウンロードの自動化

最近、MongoDB Atlas Triggers からローカルに大量のログをダウンロードする必要があるシナリオに遭遇しました。現在、Atlas からログをダウンロードするには 3 つの方法があります:

1. GUI の使用
2. CLI の使用
3. App Services 管理 API の使用

ただし、GUI および CLI オプションには、ダウンロードできるログの量に関する制限があり、特に 10,000 ログの上限があります。

ログダウンロードのための GUI および CLI の制限事項

GUI の使用

GUI を使用すると、ユーザーは日付、タイプ、ユーザー ID、またはリクエスト ID でログをフィルターできますが、ダウンロードに関しては制限が 10,000 ログに設定されます。

CLI の使用

CLI を使用すると、次のようなコマンドを実行できます。

appservices logs list --project 5e208aa2d5ec1375ecd5*** --app triggers_realmapp-**** --type=trigger --start="2024-10-15T00:00:00.000+0000" -o log.logs

ただし、これにも同じ 10,000 ログのダウンロード制限があります。

解決策: ページネーションを使用した App Services Admin API

これらのダウンロード制限を克服するために、App Services Admin API はページネーションを使用してログにアクセスする方法を提供します。ページネーションを実装すると、ユーザーはデフォルトの 10K 制限を超えてログをフェッチできるようになります。

API でページネーションを使用する詳細な手順については、MongoDB のドキュメント「ページネーションされたログの取得」を参照してください。

提案されたソリューション: 大規模なログのダウンロード用の自動スクリプト

これを合理化するために、ページネーションを使用してログを自動的に取得するスクリプトを開発しました。このスクリプトは、Atlas App Logs Aggregator のパブリック リポジトリで入手できます。

スクリプトの主な機能

• 自動ログ取得: ページネーションによる大規模なログ セットのサポートにより、MongoDB Atlas App Services からログを取得します。
• 柔軟な日付範囲フィルタリング: start_date パラメータと end_date パラメータを使用したオプションの日付フィルタリングを許可します。
• ISO 8601 検証: 日付を検証して、ISO 8601 形式に従っていることを確認します。
• 安全な認証: MongoDB Atlas の公開 API キーと秘密 API キーを使用した認証をサポートします。
• ログをフィルタリングするユーザー ID のオプションの user_id。
• 相関 ID フィルタリング ログのオプションの co_id。
• errors_only オプションを使用して、エラー ログのみを取得します。
• --filter オプションを使用して、キーと値のペアでログをフィルタリングします。

スクリプトは GET エンドポイントのみを使用し、データを変更せずにログをファイルに集約します。

使い方

要件

• Python 3.6 以降。
• requirements.txt ライブラリの依存関係。

インストール

仮想環境を作成する

appservices logs list --project 5e208aa2d5ec1375ecd5*** --app triggers_realmapp-**** --type=trigger --start="2024-10-15T00:00:00.000+0000" -o log.logs

依存関係をインストールする

python3 -m venv venv
source venv/bin/activate  # On Windows use `venv\Scripts\activate`

使用法

コマンドライン引数

• project_id (必須): Atlas プロジェクト ID (16 進数の文字列)。 app_id (必須): アプリ ID (文字列)。
• public_api_key (必須): Atlas 公開 API キー (文字列)。
• private_api_key (必須): Atlas プライベート API キー (ハイフンを含む文字列)。
• --start_date (オプション): ISO 8601 形式の開始日 (YYYY-MM-DDTHH:MM:SS.MMMZ)。
• --end_date (オプション): ISO 8601 形式の終了日 (YYYY-MM-DDTHH:MM:SS.MMMZ)。
• --type (オプション): サポートされるログ タイプのカンマ区切りリスト。現在利用可能なタイプは次のとおりです: TRIGGER_FAILURE、TRIGGER_ERROR_HANDLER、DB_TRIGGER、AUTH_TRIGGER、SCHEDULED_TRIGGER、FUNCTION、SERVICE_FUNCTION、STREAM_FUNCTION、SERVICE_STREAM_FUNCTION、AUTH、WEBHOOK、ENDPOINT、PUSH、API、API_KEY、SYNC_CONNECTION_START 、SYNC_CONNECTION_END、SYNC_SESSION_START、SYNC_SESSION_END、SYNC_CLIENT_WRITE、SYNC_ERROR 、SYNC_OTHER、SCHEMA_ADDITIVE_CHANGE、SCHEMA_GENERATION、SCHEMA_VALIDATION、LOG_FORWARDER
• --user_id (オプション): 指定された user_id に関連付けられたログ メッセージのみを返します。
• --co_id (オプション): 指定されたリクエスト相関 ID に関連付けられたログ メッセージのみを返します。
• --filter (オプション): キーと値のペアでログをフィルターします (例: --filterevent_subscription_name=,function_name=)。
• --errors_only (オプション): エラー ログ メッセージのみを返します。
• --verbose (オプション): 詳細なログ情報を有効にします。

例

pip install -r requirements.txt

オプションのパラメータあり

python main.py <project_id> <app_id> <public_api_key> <private_api_key> --start_date 2024-10-05T14:30:00.000Z --end_date 2024-10-06T14:30:00.000Z --type TRIGGER_FAILURE,SCHEMA_GENERATION

start_date と end_date が指定されていない場合、スクリプトはデフォルトで start_date を現在時刻から過去 24 時間に設定します。

 ログのフィルタリング

--filter オプションを使用すると、キーと値のペアでログをフィルタリングできます。このオプションは、スペースで区切られた複数のキーと値のペアを受け入れます。各キーと値のペアは key=value の形式である必要があります。

キーと値のペアは、エンドポイントによって返される値である必要があります。このようにして、それらを使用してフィルタリングし、一致するものだけを保持します。たとえば、「type」:「SCHEDULED_TRIGGER」の場合、応答の Key-Value は次のようになります:

python main.py <project_id> <app_id> <public_api_key> <private_api_key> --start_date 2024-10-05T14:30:00.000Z --type TRIGGER_FAILURE,SCHEMA_GENERATION --user_id 671d2e2010733ecbaa2bab8f --filter event_subscription_name=getUnpausedClustersMetrics

これは --filter オプションで使用できます (例: --filterevent_subscription_name=getUnpausedClustersMetrics)

ロギング

スクリプトは、コンソールとログ ファイルの両方へのログ記録をサポートしています。デフォルトでは、ログ ファイルはログ フォルダーに保存されます。ログ ファイル名には、各実行の一意性を確保するためのタイムスタンプが含まれています。

--verbose: このフラグを使用すると、ログ レベルが DEBUG に設定され、詳細なログ情報が提供されます。このフラグがない場合、ログ レベルは INFO に設定されます。

ログファイルの場所

ログ ファイルは logs フォルダーに保存されます。各ログ ファイルには、異なる実行のログが相互に上書きされないように、タイムスタンプが付けられた名前が付けられます。

ログファイル名の例

appservices logs list --project 5e208aa2d5ec1375ecd5*** --app triggers_realmapp-**** --type=trigger --start="2024-10-15T00:00:00.000+0000" -o log.logs

利点

• 自動ログ取得: 手動介入なしで MongoDB Atlas App Services からログを簡単に取得します。
• 日付範囲フィルタリング: ログを日付範囲でフィルタリングして、特定の期間に焦点を当てます。
• ページネーションのサポート: ページネーションを使用して、大量のログのセットを効率的に処理します。
• 検証: エラーを避けるために、日付入力が正しい形式であることを確認します。

免責事項

注意してください: このリポジトリは、インストール、使用、またはパフォーマンスを含むがこれらに限定されない、いかなる種類の保証もなく、「現状のまま」使用するためにリリースされています。当社は、明示的または黙示的を問わず、非侵害、商品性、および/または特定の目的への適合性の保証を含むがこれらに限定されない、あらゆる保証を否認します。当社は、テクノロジーがお客様の要件を満たすこと、その操作が中断されないことやエラーがないこと、またはエラーが修正されることを保証しません。

これらのスクリプトとツールの使用は自己責任で行ってください。これらが同等の環境で徹底したテストを経ているという保証はなく、その使用によって生じた損害やデータ損失については責任を負いません。

実行するスクリプトは、テスト以外の環境で使用する前に徹底的に確認してテストする責任があります。

以上がGUI および CLI の制限を超えた MongoDB Atlas トリガー ログ ダウンロードの自動化の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。