MLOps: 企業は同じ DIY の失敗を繰り返しているのでしょうか?

翻訳者 | Cui Hao

査読者 | Sun Shujuan

冒頭

## 一般に、企業が率先して行動しないのには理由があります。独自のクラウド コンピューティング インフラストラクチャを構築するために。過去 10 年間、IT インフラストラクチャ チームは、パブリック クラウドよりもコスト効率よくビジネスをサポートできると信じて、独自のプライベート クラウドを構築しようと試みてきました。しかし、プライベートクラウドは予想に反して時間とコストが予想を上回り、プライベートクラウド構築後の維持管理に多くのリソースが必要となり、セキュリティや拡張性の点でパブリッククラウドに若干劣ってしまいました。その結果、独自のプライベート クラウドを構築する企業は、コア ビジネスに投資できるリソースが増えず、代わりにビジネス ニーズを拡大できないインフラストラクチャに多くの時間と人材を投資することになります。

現在、多くの企業はさまざまなオープンソース ツール (Apache Spark など) を通じてソリューションを生成していますが、MLOps のアクションのほとんどは手動操作を繰り返す必要があります。

これにより、モデルのデプロイに数週間、場合によっては数か月かかり、実行時間が非効率になり (計算と推論の実行に時間がかかることから測定されます)、モデルのテストと監視のための観察が不足します。また、使用されたアプローチはカスタマイズされすぎて、企業のさまざまな部分の複数のユースケースにスケーラブルで再利用可能なビジネス プロセスを提供できませんでした。

問題の誤診のケース

さらに、ビジネスラインのリーダーや最高データ分析責任者との会話を通じて、組織は多くのデータ サイエンティストを雇用したが、彼らはデータ サイエンティストの能力を十分に発揮していないという結論に達しました。いつでも戻ってきます。研究が深まるにつれて、彼らは引き続きさまざまな質問をし、それらの質問を使って人工知能が直面する困難や障害を特定する予定です。彼らは、重要な問題は「ラスト 1 マイル」にあることにすぐに気付きました。つまり、モデルをデプロイしてリアルタイム データに適用し、コストを上回る利益が得られるようにモデルを効率的に実行することで、パフォーマンスをより適切に測定できるようになります。

ビジネス上の問題を解決し、ビジネス上の意思決定を行うために、データ サイエンティストはデータをモデルに変換します。このプロセスには 2 つのスキル セットが必要です: 1 つ目は、優れたモデルを構築するために必要な専門知識とスキル、2 つ目は、モデルを監視および更新しながらコードを使用して現実世界でモデルを駆動するスキルです。ただし、これら 2 種類のスキルはまったく異なります。

この違いがあるからこそ、ML エンジニアが活躍します。 ML エンジニアは、ツールとフレームワークを統合して、データ、パイプライン、インフラストラクチャが確実に連携して ML モデルを大規模に生成できるようにします。

それで、今何をすべきでしょうか?機械学習エンジニアをもっと雇用しますか?

最高の ML エンジニアがいても、企業は AI を拡張する際に依然として 2 つの大きな問題に直面しています。

ML エンジニアをすぐに雇用できない: ML エンジニアの需要は非常に高まっています。 ML エンジニアの求人は IT サービスの 30 倍の速さで増加しています。場合によってはポジションが埋まるまでに数か月、場合によっては数年も待たなければならない場合、MLOps チームは、ML アプリケーションの需要を満たすために ML エンジニアの人員を増やすことなく、より多くの ML モデルとユースケースをサポートする効率的な方法を見つける必要があります。しかし、このステップでは 2 番目のボトルネックが発生します...
• モデルがどこにどのように構築されたとしても、再現可能でスケーラブルなベスト プラクティスが欠如しています。つまり、最新のエンタープライズ データ エコシステムです。現実には、さまざまなビジネス ユニットが存在します。データとテクノロジーの要件に基づいて、さまざまなデータ プラットフォームを使用します (たとえば、製品チームはストリーミング データをサポートする必要がある一方で、財務部門は非技術ユーザー向けにシンプルなクエリ インターフェイスを提供する必要がある場合があります)。さらに、データ サイエンスでは、アプリケーションを一元化するのではなく、ビジネス ユニット間でアプリケーションを分散化することも必要です。言い換えれば、さまざまなデータ サイエンス チームが、焦点を当てているユース ケース (ドメイン) に対して独自のモデル トレーニング フレームワークのセットを持っています。これは、企業全体 (複数のチームを含む) に対して万能のトレーニング フレームワークを確立できないことを意味します。部門/ドメイン) の。

人工知能から最大限の価値を得る方法

自動化機能を向上させるため、大規模なユーザーにパーソナライズされたエクスペリエンスを提供するため、より正確でより多くのサービスを提供するためきめ細かく予測可能なユーザー 企業はすでに人工知能に数十億ドルを投資していることが約束されています。しかしこれまでのところ、AI の期待と成果の間には大きな隔たりがあり、大きな ROI を生み出しているのは AI 投資のわずか約 10% です。

最後に、MLOps の問題を解決するために、最高データ分析責任者は、MLOps 自動化に関連する他のテクノロジにも投資しながら、ビジネスの中核となるデータ サイエンスを中心とした独自の能力を構築する必要があります。これは「構築か購入か」の一般的なジレンマであり、運用面 (費用対効果) だけでなく、企業全体に浸透する AI 投資の速度と効率、新しい手法を導入できるかどうかも考慮する必要があります。収益製品と顧客ベースをより良い方法で生み出すか、自動化を強化して無駄を削減することでコストを削減します。

翻訳者紹介

Cui Hao は、51CTO のコミュニティ編集者兼シニア アーキテクトであり、ソフトウェア開発とアーキテクチャの経験が 18 年、分散アーキテクチャの経験が 10 年あります。元HPの技術専門家。彼は喜んで共有し、600,000 回以上読まれる人気の技術記事を多数執筆してきました。 『分散アーキテクチャの原則と実践』の著者。

元のタイトル: MLOps | 企業は同じ DIY ミスを繰り返していますか?

以上がMLOps: 企業は同じ DIY の失敗を繰り返しているのでしょうか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。