現在、企業における人工知能の大規模な適用には、長い開発サイクルと発売サイクル、予想を下回る結果、データとモデルのマッチングの難しさなど、多くの困難があります。この文脈で、MLOps が登場しました。 MLOps は、企業内での機械学習の拡張を支援する重要なテクノロジーとして浮上しています。
最近、51CTO が主催する AISummit グローバル人工知能技術カンファレンス が無事に開催されました。カンファレンスで開催された「MLOps ベスト プラクティス」特別セッションでは、オープン アトミック財団 TOC 副会長の Tan Zhongyi 氏、4Paradigm システム アーキテクトの Lu Mian 氏、NetEase Cloud Music 人工知能研究者、ビッグデータと人工知能の Wu Guanlin 氏が登壇しました。中国工商銀行ソフトウェア開発センターのファン・ビン研究所副所長が基調講演を行い、研究開発の運用と保守サイクル、継続的トレーニング、継続的モニタリングなどの注目のテーマを中心にMLOpsの実戦について議論した。 、モデルのバージョンと系統、オンラインとオフラインのデータの一貫性、効率的なデータ供給、効果と最先端のトレンド。
Andrew NG は、AI がモデル中心からデータ中心に移行しており、実装における最大の課題はデータであると何度も表明しています。 AIの。高品質なデータの供給をどのように確保するかが重要な問題であり、この問題を解決するには、MLOps の実践を活用して、AI を迅速、簡単、かつコスト効率よく実装できるようにする必要があります。
それでは、MLOps はどのような問題を解決するのでしょうか? MLOps プロジェクトの成熟度を評価するにはどうすればよいですか? Open Atomic Foundation TOC 副会長であり、LF AI & Data TAC メンバーである Tan Zhongyi 氏が基調講演「モデル中心からデータ中心へ - MLOps は AI を迅速、簡単、そしてコスト効率よく実装できるように支援します」と題して講演し、その模様が で紹介されました。詳細。
Tan Zhongyi 氏は最初に、業界の科学者やアナリストのグループの見解を共有しました。 Andrew NG 氏は、モデル アルゴリズムの改善よりもデータ品質の改善の方が AI 実装の有効性を向上できると考えており、MLOps の最も重要なタスクは、機械学習のライフ サイクルのすべての段階で常に高品質なデータの供給を維持することであると考えています。
AI の大規模実装を実現するには、MLOps を開発する必要があります。 MLOps とは具体的に何なのかについては、業界で統一された見解はありませんが、「コード、モデル、データの継続的インテグレーション、継続的デプロイ、継続的トレーニング、継続的モニタリング」であると彼は独自に説明しました。
次に、Tan Zhongyi 氏は、機械学習分野でもユニークなプラットフォームであるフィーチャー ストア (フィーチャー プラットフォーム) の特徴に焦点を当てました。現在市場に出ている主流の機能として、プラットフォーム製品が挙げられます。
最後に、Tan Zhongyi が MLOps 成熟度モデルについて簡単に説明しました。同氏は、Microsoft Azure が機械学習プロセス全体の自動化の度合いに応じて、MLOps 成熟モデルをいくつかのレベル (0、1、2、3、4) に分割しており、0 は自動化なし、123 は部分的であることを意味すると述べました。高度な自動化です。
#オンラインおよびオフライン操作のための一貫した運用レベルの特徴プラットフォーム多くの機械学習シナリオでは、リアルタイムの特徴計算の必要性に直面しています。データ サイエンティストによってオフラインで開発された機能スクリプトから、オンラインでのリアルタイムの機能計算に至るまで、AI 実装のコストは非常に高くなります。
この問題点に応えて、4Paradigm システム アーキテクト、データベース チーム、ハイパフォーマンス コンピューティング チームのリーダーである Lu Mian 氏は、「オープンソース機械学習データベース OpenMLDB: Consistent Online」という基調講演を行いました。オフラインの「実稼働レベルの機能プラットフォーム」では、OpenMLDB が機械学習機能の開発を即時にオンライン化するという目標をどのように達成するか、また機能計算の精度と効率を確保する方法に焦点を当てています。
Lu Mian 氏は、人工知能エンジニアリングの実装の進歩に伴い、特徴エンジニアリング プロセスにおいて、オンラインの整合性検証が高い実装コストをもたらしていると指摘しました。 OpenMLDB は、低コストのオープンソース ソリューションを提供しており、オンラインとオフラインの機械学習の一貫性、正確性の問題という中核的な問題を解決するだけでなく、ミリ秒レベルのリアルタイム特徴量計算も実現します。これがその核となる価値です。
Lu Mian 氏によると、インドネシアのオンライン決済会社 Akulaku は、OpenMLDB がオープンソースになって以来、OpenMLDB の最初のコミュニティ企業ユーザーであり、OpenMLDB をインテリジェント コンピューティング アーキテクチャに統合しました。実際のビジネスでは、Akulaku は 1 日平均 10 億件近くの注文データを処理しますが、OpenMLDB を使用した後のデータ処理遅延はわずか 4 ミリ秒であり、ビジネス ニーズを十分に満たしています。
NetEase Cloud Music の膨大なデータ、正確なアルゴリズム、リアルタイム システムに依存して、コンテンツ配信と商品化の複数のシナリオに対応します。モデリングのニーズを満たす一連のアルゴリズム エンジニアリングの追求には、高効率、低い使用障壁、および顕著なモデル効果が含まれており、この目的のために、NetEase Cloud Music アルゴリズム エンジニアリング チームは、エンドツーエンドの機械学習の実用的な実装を開始しました。音楽ビジネスと連携したプラットフォーム。
NetEase Cloud Music 人工知能研究者兼テクニカル ディレクターのウー グアンリン氏は、基調講演「NetEase Cloud Music 機能プラットフォーム技術実践」でクラウド ミュージック ビジネスの背景から説明しました。モデルのリアルタイム実装 この計画は、Feature Store と組み合わせて、参加者とさらに意見を共有しました。
Wu Guanlin 氏は、クラウド音楽モデル アルゴリズム プロジェクトの構築には、リアルタイム レベルの低さ、モデリング効率の低さ、オンラインによるモデル機能の制限という 3 つの大きな問題点があると述べました。そしてオフラインの不整合。これらの問題点に対応するために、彼らはリアルタイム モデルから開始し、ビジネスをリアルタイムでカバーするモデルのプロセスで、対応するフィーチャー ストア プラットフォームを構築しました。
Wu Guanlin 氏は、最初にライブ ブロードキャスト シナリオでリアルタイム モデルを検討し、一定の結果を達成したと紹介しました。エンジニアリングの面でも、完全なリンクが調査され、いくつかの基本的なエンジニアリング構築が実装されました。ただし、リアルタイム モデルはリアルタイム シナリオの微調整に重点を置いていますが、シナリオの 80% 以上がオフライン モデルです。フルリンク モデリング プロセスでは、各シナリオ開発者がデータの原点から開始するため、モデリング サイクルが長くなる、効果が予測できない、初心者にとって開発の敷居が高いなどの問題が生じます。モデルの発売サイクルを考慮すると、時間の 80% がデータに関連しており、そのうち機能が 50% も占めます。彼らは、フィーチャー プラットフォームであるフィーチャー ストアを形成し始めました。
Feature Store は主に 3 つの問題を解決します。まず、メタデータを定義し、フィーチャ リネージ、計算、プッシュ プロセスを統合し、バッチ フロー ベースの統合された効率的な機能生成リンク、2 つ目は機能ストレージの問題を解決するために機能の特性を変換し、実際の使用シナリオでのレイテンシとスループットの違いに応じてさまざまなタイプのストレージ エンジンを提供すること、3 つ目は問題を解決すること特徴の一貫性の向上、推論やトレーニングなどのための機械学習モデルへの入力として統合 API から指定された形式でデータを読み取ります。
工商銀行ソフトウェア開発センタービッグデータおよび人工知能研究室副所長、Huang Bing 氏中国の同氏は基調講演「強力な金融システムの構築」を行った 「インテリジェントなイノベーションと開発のための新しい人工知能インフラストラクチャ」は、モデル開発、モデルの完全なライフサイクル管理システムの構築プロセスと技術的実践をカバーするICBCのMLOps実践に焦点を当てている。配信、モデル管理、モデルの反復操作。
MLOps が必要な理由は、人工知能の急速な発展の背後に、多くの既存または潜在的な「AI 技術的負債」を無視できないためです。 Huang Bing 氏は、MLOps の概念がこれらの技術的負債を解決できると信じています。「DevOps がソフトウェア システムの技術的負債問題を解決するツールであり、DataOps がデータ資産の技術的負債問題を解決する鍵であるとすれば、MLOps は、 DevOps の概念から生まれた、治療マシンです。「技術的負債の問題の解決法を学びましょう。」
構築プロセスにおける ICBC の MLOps 実践経験は 4 つのポイントに要約できます。公共機能の「基盤」の強化、エンタープライズ レベルのデータ センターの構築、データの蓄積とデータの収集の実現です。共有、削減 関連するモデリングおよびサービス組立ラインを構築するためのしきい値の「ツール」を適用して、プロセスベースおよびビルディングブロック組立の研究開発モデルを形成する; AI のコストを最小限に抑えるための AI 資産の蓄積と共有の「方法」を確立するエコロジーの鍵は、モデル運用反復の「技術」を形成し、データとビジネス価値に基づいたモデル運用システムを確立することです。これは、モデル品質の継続的反復と定量的評価の基礎です。 。
Huang Bing 氏はスピーチの最後に 2 つの展望を述べました。まず、MLOps はより安全で、よりコンプライアンスに準拠する必要があります。将来、エンタープライズ開発では、データ駆動型のインテリジェントな意思決定を実現するために多くのモデルが必要となり、モデル開発、運用と保守、権限制御、データ プライバシー、セキュリティ、監査に関連するエンタープライズ レベルの要件がさらに増加することになります。 2 番目に、MLOps は他の Ops と組み合わせる必要があります。技術的負債問題の解決は複雑なプロセスです。3 つの利点をすべて最大限に発揮して「1+1+」の効果を達成するには、DevOps ソリューション、DataOps ソリューション、および MLOps ソリューションを調整し、相互接続して相互に強化する必要があります。 1>3」。
IDC の予測によると、2024 年までに 60% の企業が MLOps を使用して機械学習ワークフローを実装すると予想されています。 IDC アナリストの Sriram Subramanian 氏はかつて次のようにコメントしました。「MLOps を使用すると、モデルの速度が数週間、場合によっては数日まで短縮されます。DevOps を使用してアプリケーションの平均構築時間を短縮するのと同じです。だからこそ、MLOps が必要です。」
現在、私たちは人工知能が急速に拡大する転換点にいます。 MLOps を採用することで、企業はより多くのモデルを構築し、ビジネス イノベーションをより迅速に達成し、より迅速かつコスト効率よく AI の実装を促進できます。何千もの業界が、MLOps がエンタープライズ AI の規模拡大の触媒になりつつあるという事実を目の当たりにし、検証しています。さらにエキサイティングなコンテンツについては、クリックして表示してください。
以上がエンタープライズ MLOps 実装への道を探るため、AISummit グローバル人工知能テクノロジー カンファレンス「MLOps ベスト プラクティス」が成功裡に開催されましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
