モデル パフォーマンス管理 (MPM) で機械学習モデルの監視の課題を解決する

翻訳者 | Li Rui

査読者 | Sun Shujuan

過去数年間、世界のデジタル化は、組織や企業にユニークな機会と課題をもたらしました。データのブームにより、意思決定の精度を向上させる機会が増えましたが、この情報の分析と活用には、より多くの時間と費用がかかるようになりました。その結果、あらゆる規模の企業が、大量のデータを処理し、アナリストによって見落とされたり、不当に時間がかかりがちなパターンや相関関係を特定できる機械学習 (ML) モデルを導入しています。これらのモデルには、意思決定を強化し、優れたビジネス成果をもたらす力があります。たとえば、一部の機械学習モデルは、マーケティングや在庫計画を改善するために、特定の製品が今後 1 年間にどれだけ早く売れるかについて非常に正確な予測を行うことができます。他の企業は、数百万ドルの収益損失につながる可能性のある不正取引を特定できます。

しかし、機械学習モデルへの依存が高まるにつれ、モデルのパフォーマンスを監視し、人工知能への信頼を構築する必要性がより緊急になっています。機械学習モデルのモニタリングがなければ、MLOps チームとデータ サイエンス チームは次の問題に直面します:

• 一貫性のないモデルのパフォーマンス。機械学習モデルは履歴データに基づいてトレーニングされており、本番環境で表示される実際のデータとは異なる可能性があるため、この値は変動する可能性があります。
• 制御性とデバッグ性の欠如。複雑な機械学習システムは不透明であるため、実務者は機械学習モデルについて十分な知識がなく、問題が発生した場合の修正方法がわからない可能性があります。
• 偏見の例。機械学習モデルは、トレーニングの対象となるデータの隠れたバイアスを増幅する可能性があり、企業を法的リスクや風評リスクにさらし、消費者に有害な結果をもたらす可能性があります。
• 機械学習のパフォーマンスを向上させます。どのような改善が必要かを理解して追跡するのは難しいため、機械学習モデルは最初のリリース以降は追加の投資を受けられません。

MLOps チームは自分のモデルに自信を持てない可能性が高く、プロジェクトに費やす時間が長くなり、エラーが増える可能性があります。機械学習モデルのモニタリングにより、開発者はパイロット プロセスや運用プロセスでモデルをデバッグし、問題が発生したときにそれを捕捉できます。これは、今日の世界において極めて重要な、説明可能で公正かつ倫理的な AI ソリューションを実現する最も効率的な方法です。銀行がローンの承認に機械学習システムを使用しているとします。銀行は、特定のローンが拒否された理由を銀行に尋ねる顧客からの苦情を受ける可能性があり、銀行はモデルがその決定を下した理由を説明する責任があります。適切な監視ソリューションがなければ、この質問に対する答えを追跡することはほぼ不可能です。

機械学習モデルが不正行為の予測、融資の承認、広告のターゲティングを担うかどうかに関係なく、発生する小さな変化がモデルのドリフト、不正確なレポート、またはバイアスを引き起こす可能性があり、そのすべてが収益の損失やブランドへの影響をもたらす可能性があります。信頼性。

今日のモデル監視における課題

残念なことに、今日組織が依存している機械学習モデルの多様性と数により、機械学習モデルの監視はより複雑になっています。機械学習モデルは現在、マネーロンダリング対策、求人マッチング、臨床診断、惑星監視などの幅広いユースケースに対応しています。また、さまざまな表現 (表、時系列、テキスト、画像、ビデオ、オーディオ) もあります。これらのモデルは企業が扱う必要がある膨大な量のデータを処理できますが、データの追跡ははるかに困難でコストがかかります。

一部の企業は、これらの課題を克服するために、広範な運用可視性をサポートするように設計された従来のインフラストラクチャ監視ソリューションを導入しています。社内で独自のツールを作成しようとする人もいます。いずれの場合も、これらのソリューションは機械学習システム固有のニーズを満たせないことがよくあります。従来のソフトウェア システムとは異なり、機械学習システムのパフォーマンスは不確実で、季節性、新しいユーザー行動傾​​向、多くの場合非常に高次元の上流データ システムなどのさまざまな要因に依存します。たとえば、完全に機能する広告モデルは、新しいホリデー シーズンが到来すると更新する必要がある場合があります。同様に、米国でコンテンツを推奨するようにトレーニングされた機械学習モデルは、海外のユーザー登録にはうまく応用できない可能性があります。あるいは、企業は、モデルが古いために拡張できない、生産のトラブルシューティング時間の無駄、社内ツールのメンテナンスにかかる追加コストなどの問題に直面することがよくあります。

機械学習モデルの可視性と説明可能性を実現し、モデル監視の一般的な課題を克服するには、企業は機械学習モデルを簡単に監視、解釈、分析、改善し、モデルのパフォーマンス管理 (MPM) を導入できるソリューションを必要としています。

モデル パフォーマンス管理 (MPM) がパフォーマンスとバイアスに対処する方法

モデル パフォーマンス管理 (MPM) は、機械学習ワークフローの中心となる集中制御システムであり、機械学習のすべての段階でパフォーマンスを追跡します。モデルのライフサイクル、パフォーマンス、および機械学習のフィードバック ループを終了します。モデル パフォーマンス管理 (MPM) を使用すると、企業は説明と根本原因分析を通じて実用的な深い洞察を発見できると同時に、機械学習のパフォーマンスの問題を即座に表面化し、ビジネスへの悪影響を回避できます。

モデル パフォーマンス管理 (MPM) は、モデルのビジネス価値とパフォーマンスを継続的かつ自動的に再評価し、運用環境でのモデル パフォーマンスに関するアラートを発行し、開発者がバイアスの最初の兆候に積極的に対応できるように支援します。モデル パフォーマンス管理 (MPM) は、トレーニングからリリースまでモデルの動作を追跡するため、特定の予測につながる要因を説明することもできます。モデルのモニタリングを、説明可能性やモデルの公平性などの機械学習の可観測性の他の柱と組み合わせることで、機械学習エンジニアやデータ サイエンティストに、機械学習のワークフローに組み込むことができる包括的なツールキットが提供され、モデルの検証とモニタリングのユースケース全体にわたる単一のダッシュボードが提供されます。企業がモデル パフォーマンス管理 (MPM) から恩恵を受けるのは、モデルの監視がより効率的になるだけでなく、高額な規制上の罰金や風評被害につながるバイアスの事例が減るからでもあります。機械学習モデルには、ライフサイクル全体を通じて継続的なモデルの監視と再トレーニングが必要です。モデル パフォーマンス管理 (MPM) を使用すると、開発者はモデルに自信を持ち効率が向上するだけでなく、AI 結果の背後にある理由とプロセスを理解し、検証することもできます。

元のタイトル: モデル パフォーマンス管理 (MPM) による ML モデル監視の課題の解決 、著者: クリシュナラム・ケンタパディ

以上がモデル パフォーマンス管理 (MPM) で機械学習モデルの監視の課題を解決するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。