大規模モデルを簡単にアクセスできるようにするYanxi AI開発およびコンピューティングプラットフォームが正式に開始

大規模モデルが爆発的に増加した年に、生成 AI 業界における最も重要な開発ボトルネックはコンピューティング能力の面に現れました。 9 月 20 日、Sequoia America は記事「生成 AI の第 2 幕」の中で、多くの生成 AI 企業が開発のボトルネックが顧客の需要ではなく、GPU の緊張にあることを過去 1 年間ですぐに発見したと述べました。長い GPU 待機時間が常態化したため、サブスクリプション料金を支払ってキューをスキップし、より良いモデルを入手するというシンプルなビジネス モデルが登場しました。

大規模モデルのトレーニングでは、パラメーター サイズの指数関数的な増加により、トレーニング コストが急激に増加しました。 GPU リソースが不足している場合、ハードウェアのパフォーマンスを最大化し、トレーニング効率を向上させることがより重要になっています。

#AI 開発コンピューティング プラットフォームは重要なソリューションです。 AI 開発コンピューティング プラットフォームを使用すると、大規模なモデル開発者は、データの準備、モデル開発、モデルのトレーニング、モデルのデプロイメントを含む AI 開発プロセス全体をワンストップで完了できます。 AI コンピューティング プラットフォームは、大規模なモデル開発の敷居を下げることに加えて、トレーニングの最適化と推論管理サービスを提供することでコンピューティング リソースの効率を高めます。

9 月 26 日、西安市会議での JD Cloud の延西 AI 開発コンピューティング プラットフォームの紹介によると、JD Cloud が発表した延西 AI 開発コンピューティング プラットフォームはを使用すると、データの準備、モデルのトレーニングからモデルの展開までのプロセス全体が 1 週間以内に完了できます。以前は 10 人を超える科学者のチームが作業する必要がありましたが、現在は 1 ～ 2 人のアルゴリズム スタッフのみで済みます。プラットフォーム モデルを通じてアクセラレーション ツールの最適化、使用 チームは、推論コストの 90% を節約することができました。

さらに重要なのは、大規模モデルが数千の業界に急速に参入しつつある現在、Yanxi AI 開発コンピューティング プラットフォームは、大規模モデルのアルゴリズム開発者とアプリケーション開発者を同時にサポートしていることです。アプリケーション開発者は、ローコード形式を使用して大規模なモデルの製品開発を実現することもできます。

大規模産業モデル開発の敷居が低くなり、大規模モデルの活用や変革が容易になります。

大規模モデルの時代には、新しいデジタル インフラストラクチャが必要です

大規模モデル開発者にとって、AI 開発コンピューティング プラットフォームがない場合、これは意味します。 : アルゴリズムやアプリケーションの開発プロセスでは、基盤となる GPU コンピューティング リソースのスケジューリング、ストレージ ネットワーク、モデルの管理と制御などの一連のシステムを構築する必要があり、全体的な開発プロセスは非常に原始的であり、敷居が非常に高くなります。 。

大規模なモデル業界のアプリケーションを社内で推進している企業にとって、これはコストの急速な増加とトレーニング効率の確保の困難を意味します。

1 年が経過し、金融、マーケティング、自動車、コンテンツ、法律、オフィスなどの業界で大規模モデルとの統合が積極的に行われています。大型モデルの強力な可能性は、多くの業界の競争環境を再構築する上で重要な要素となっています。ビジネスと大規模モデルを組み合わせるシナリオをより迅速に見つけて、効率的に実装することが競争の鍵となっています。

しかし、インダストリ モデルの開発はスムーズなプロセスではありません。今日でも、私たちは一連の課題と機会に直面しています。

データに関しては、業界ごとにデータの濃度や分散状態が異なり、データの準備サイクルや処理難易度も異なるため、学習時に大量のマルチモーダルデータをいかに効率的に読み込むかが解決すべき課題となっています。

第 2 に、大規模モデルのトレーニング中の環境の安定性、障害ブレークポイントの回復、および継続的なトレーニングの処理は、トレーニングの効率に大きな影響を与えます。コンピューティング能力を効率的にスケジュールし、コンピューティング能力リソースの利用率を向上させる方法も、企業が考慮しなければならないコストの問題です。

JD Cloud は西安市カンファレンスで、過去の実践期間において、大規模産業モデルの課題は技術的なものだけではないことを発見したと共有しました。それ自体、テクノロジーと業界のアプリケーション シナリオをどのように組み合わせるか、またコスト、効率、エクスペリエンスのバランスをどのように取るかが、大規模モデル産業の実装における真の課題です。

最も基本的な開発レベルに戻り、コスト、効率、経験のバランスをとるということは、いくつかの問題を再解決して最適化する必要があることを意味します。

Jingdong Cloud の IaaS 製品研究開発部門の責任者である Gong Yicheng 氏はインタビューで、大規模モデル時代の開発インフラストラクチャの要件は次のとおりであるとさらに説明しました。従来のものとは大きく異なります。効率の観点から見ると、これまでの AI 開発プロセスでは、比較的低コストの GPU でも多くの関連作業を完了できましたが、大規模モデルのシナリオでは、AI 開発は A100 や A800 などの高コストの GPU に大きく依存していました。電力と性能の要件はますます高くなり、コストは急速に上昇しています。

「したがって、高コストの下で、これらのハードウェアのパフォーマンスを極限まで絞り込む方法が、大規模モデル開発のコスト効率にとって特に重要になっています。」

過去の AI 開発では、多くの GPU が同時に動作する必要があったため、データ スループットの同時実行性は大規模モデルほど大きくありませんでした。データ自体の量が大きくない場合は、モデルの同時読み取りと遅延の可能性の問題により、通常、以前のストレージ メカニズムでは満たすことができない高性能ストレージに対する新たな要件が提示されています。

Gong Yicheng 氏は、データ アクセス プロセス中の遅延が小さければ、モデル全体の効率も高くなるとも述べました。自社開発のスマート チップを使用すると、低遅延ネットワークを完全に使用できるため、モデル全体のトレーニングの効率を向上させることができます。

さらに、スケール レベルでは、1,000 億を超えるパラメータを持つ大規模なモデルのトレーニングには、基本的にトレーニングに 1,000 カロリー以上が必要です。 Gong Ycheng 氏は、これまでの AI 開発ではこれは非常にまれなことだったため、開発には高度で新しい経験の要件が提示され、対応する開発インフラストラクチャはまったく異なっていたと述べました。

大規模モデル開発の効率を向上させ、大規模モデルを業界でより適切に実装できるようにしたい企業にとって、新しいインフラストラクチャのセットが必要になっています。

JD Cloud、Yanxi AI コンピューティング プラットフォームをリリース

9 月 26 日、JD.com Yanxi AI 開発およびコンピューティング プラットフォームは、西安市会議で正式にリリースされました。この製品は、データ準備、モデル開発、モデル トレーニング、モデル展開の AI 開発プロセス全体をカバーしており、主流のオープンソースの大規模モデルと一部の商用大規模モデルがプリセットされています。モデル、および 100 を超える推論ツールとフレームワークを使用すると、大規模なモデル開発のしきい値とコストを効果的に削減できます。

パフォーマンスの向上という点では、Yanxi AI 開発コンピューティング プラットフォームは、コンピューティング能力とストレージにおいて多くの技術的進歩を遂げました。最下位レベルでは、プラットフォームは GPU コンピューティング能力をさらに全体的にスケジュールおよび調整して、プラットフォームの基礎となるリソース使用量のスケジューリング効率を向上させることができます。

JD Cloud の共有によると、コンピューティング能力の観点から、JD Cloud はプラットフォームで第 5 世代のクラウド ホストとさまざまな高性能製品形式を提供します。コンピューティング能力を提供し、数十万の GPU ノード規模をサポートできます。 ネットワーク レベルでは、独自開発の RDMA 輻輳アルゴリズムを使用して、RDMA ネットワーク トラフィック パスをグローバルに制御します。さまざまな GPU ノードが最大 3.2 Tbps の RDMA ネットワーク帯域幅をサポートし、伝送遅延は約 2 us と低くなります。基本的な機能のサポートとして。

ストレージに関しては、JD Cloud の Yunhai 分散ストレージは、大規模モデルの大量データと、大規模モデルのトレーニング データ スループットのための高同時クラスタ要件をサポートできます。数千万の IOPS を達成します。遅延はわずか 100 マイクロ秒です。新しいストレージとコンピューティングの分離アーキテクチャにより、

Yunhai は顧客全体のインフラストラクチャ コストの 30% 以上を節約でき、現在、ハイ パフォーマンス コンピューティングや AI トレーニングなどの新しいシナリオだけでなく、次のような従来のシナリオでも広く使用されています。オーディオおよびビデオのストレージとデータのレポートとして。

基盤となるリソースの最適化に加えて、Yanxi AI コンピューティング プラットフォームは、大規模モデル開発者がリンク全体の効率を向上させ、データ処理やモデル開発を効率的に実装するのに役立ちます。 、トレーニング、デプロイ、評価、トレーニング推論の最適化、モデルのセキュリティなど:

• データ管理プロセスでは、 Yan Xi は、インテリジェントな注釈モデル、データ拡張モデル、およびデータ変換ツールセットを通じて、モデル開発者がデータのインポート、クリーニング、注釈、および拡張のあらゆる側面を実装するのに役立ちます。複数のファイル形式でのデータのインポートとインテリジェントな分析をサポートし、自動半自動データ注釈機能。分散したデータ ストレージ、さまざまなデータ形式、不均一なデータ品質、手動データ アノテーションの効率の低さなどの問題の解決に役立ちます。
• 分散トレーニング プロセスでは、 Yanxi プラットフォームは国内ハードウェアに適応し、HPC をサポートし、高性能ファイル システムを統合し、リソース割り当てとスケジューリング戦略を提供します。ハードウェア リソースが最大限に活用されていることを確認し、トレーニング タスクの管理を簡素化するために統合された対話型インターフェイスが提供されます。ネットワークとアルゴリズムの複雑さの急速な増大によるコンピューティング リソースの不足と無駄、HPC、ハイ パフォーマンス コンピューティング、ハイ パフォーマンス ファイル システム、異種ハードウェアの使用と適応の困難、モデル トレーニングの多様性といった問題の解決に役立ちます。 、トレーニングおよび学習コスト、改善およびその他の問題。
• コード不要の開発機能という点では、 により大規模モデルの開発プロセスがさらに簡素化されます。ユーザーは、プラットフォームに組み込まれている大規模なモデルを直接選択してデータをアップロードし、引き続きトレーニング方法を選択することができ、ハイパーパラメーターと AutoML の 2 つのコードレス トレーニング方法のいずれかを指定すると、微調整されたモデルまたはアプリケーションが取得されます。
• アプリケーション層では、Yanxiプラットフォームには、質疑応答開発、ドキュメント分析開発、そしてプラグイン開発。モデル、ナレッジ ベース、プロンプト テンプレート、開発プラットフォームを選択したら、ワンクリックで展開します。また、モニタリング、追跡テスト、テスト評価をサポートできます。

全体として、Yanxi AI 開発コンピューティング プラットフォームは、さまざまな専門レベルのユーザーのニーズを満たすことができます。 大規模なモデル アルゴリズム開発者の場合、データの準備、モデルの選択、コードのチューニング、展開とリリースなどのプロセス全体をサポートできます。アプリケーション層の開発者は、コードレスのアプローチを使用して視覚的にモデルを選択し、データをアップロードし、パラメーターを構成することができ、コードを記述せずにタスクをトリガーし、モデル タスクのトレーニングを開始できるため、しきい値が低くなります。

モデルの導入に関して、プラットフォームには現在、オープンソース モデルに加えて、Yanxi、Spark、LLama2 などの組み込みの商用モデルが含まれています。 Gong Yicheng 氏は、Yanxi のモデル選択のアプローチは量よりも質に重点を置く傾向があると述べ、ユーザーが選択の不安に陥ることを避けるために、基本的なモデルを中心に構築された一部の業界モデルだけでなく、さまざまな技術分野で比較的優れたビジネス モデルを選択しています。

さらに、Yanxi は、小売、健康シナリオ、実際に大きな成果を上げている業界アプリケーションなどの基本モデルに基づいて JD.com によって構築された業界モデル アプリケーションの導入に重点を置きます。モデルはプラットフォーム上に置かれ、プラットフォーム開発者が関連ビジネスの実装を促進するのに役立ちます。

Yanxi には現在 3 つの配信方法があります。1 つは MaaS サービス フォームで、開発者は API を通じて従量課金制で探索および使用できます。 2つ目はパブリッククラウドSaaS版で、ユーザーはプラットフォームが提供するワンストップのモデル開発、トレーニング、展開機能を利用でき、パブリッククラウドリソースの柔軟な供給の利点を活かして、ユーザーは開発と開発を開始できます。最小限のコストで大規模な産業用モデルを展開します。 3 つ目は、データ セキュリティに対してより特別な要件を持つ顧客を満たすための民営化された配信バージョンで、データは完全にローカライズされています。

今後、Yanxi は、国内ハードウェア カバレッジ、モデル エコロジー協力、プラグイン開発、アプリケーション評価サービス、オールイン サービスなどのプラットフォーム機能をアップグレードし続けます。 1 台のマシンの配信、エージェント開発サービスなど。この面で改善を続け、大規模な産業モデルの開発と実装における困難、大規模なモデル アプリケーションの開発の困難さ、モデルのトレーニングと推論の高コスト、モデルやアプリケーションの入手の難しさ、高性能コンピューティング、高性能ファイル、異種ハードウェアの使用、および適応の難しさです。

数千の業界で大規模モデルの導入を促進

At the Xi'都市会議で、京東グループの技術委員会委員長で京東クラウド部門の社長である曹鵬氏は講演の中で、大型モデルを段階的に業界に導入する過程で、産業効率を改善し、より大きな産業価値を生み出したいと述べた。複数のシナリオでより優れたコピーを実行できるようにすることは、本質的にモデルのトレーニング プロセスとインフラストラクチャに対するより高い要件を提示します。つまり、モデルはより使いやすく、しきい値とコストが低く、コンピューティング能力を柔軟に使用できる必要があります。

AI 開発コンピューティング プラットフォームは、これらの問題を解決するための重要なソリューションの 1 つであり、高性能で使いやすい AI 開発コンピューティング プラットフォームにより、より多くの業界関係者が低コストで参加できます。大型モデル産業の構築に参加して、より多くの産業用大型モデルの出現を刺激し、数千の業界で大型モデルの導入を加速します。

実際の市場において、業界の顧客が AI コンピューティング プラットフォームを選択する際に考慮する主なポイントは、業界の理解とプラットフォームの効率であると Gong Yicheng 氏は述べました。 他の AI コンピューティング プラットフォームと比較して、Yanxi AI 開発コンピューティング プラットフォームは、究極のパフォーマンスを向上させるだけでなく、小売、金融、物流、健康などの有利なシナリオにおける JD.com の長期的な経験を組み合わせることができます。よりプロフェッショナルな産業巨人のモデル選択。

Yanxi AI コンピューティング プラットフォームのモデル エコシステムでは、組み込みの優れたビジネス モデルとオープン ソース モデルに加えて、敷居をさらに下げるために、

また、Yanxi AI コンピューティング プラットフォームは、これらの大型モデルに中国語能力、数学能力などのさらに強化された機能を追加し、ユーザーがより使いやすく、より専門的な大型モデルを選択できるようにします。

さらに重要なのは、Yanxi AI 開発およびコンピューティング プラットフォームは大規模モデル アプリケーション開発者も対象としているため、コードレスな方法で独自のモデルの構築をサポートしていることです。上記に加えて、基本モデルに加えて、Yanxi プラットフォームはアプリケーション シナリオ用のより独自のモデル

もユーザーに提供し、ユーザーがそれらを自分の業界に迅速に実装できるようにします。

現在、Yanxi Platform が提供するアプリケーション シナリオ固有のモデルには、主に質疑応答の開発やドキュメントの分析と開発などの成熟した高頻度のシナリオが含まれています。これらのアプリケーションは京東独自の有利な分野で何度も検証されており、大型モデルと組み合わせることで効率を迅速に向上させることができます。

会話ツールを例に挙げると、2021 年から Miniso と JD Cloud は、JD Cloud の下で延西省の一連の技術製品を顧客サービスに適用する提携に達しました。 MINISO名創優品では、MINISO名創優品店舗カスタマーサービスチーム、ユーザー運営チーム、ITサービス運用保守チームが対象となります。 2022年4月には、オンライン顧客サービスロボット、音声応答ロボット、音声アウトバウンドコールロボット、インテリジェント品質検査、インテリジェントナレッジベースなどの一連のインテリジェント製品を含むYanxiシリーズの製品が次々と発売され、大きな成果をもたらしました。結果。

フィードバック データによると、Yanxi シリーズ製品の現在の平均 1 日相談サービス件数はほぼ 10,000 回で、その中でオンライン カスタマー サービス ロボットの応答精度は 97% を超えています。独立受付率は70%を超え、サービスコストは40%削減、音声応答ロボットの応答精度は93%を超え、顧客の問題の46.1%を独立して処理、インテリジェントな品質検査は数十万回、ほぼ完了しています。 3,000件のサービスリスク問題が発見され、対処され、ユーザーの満足度が20%向上しました。インテリジェントナレッジベースの内容は、「MINISO名創優品」ブランドのコアSKU約8,800件、「TOP TOY」ブランドのコアSKU約4,600件をカバーしています。

#大規模なモデルを実装する実際のプロセスは、単一点から外部へ拡散する段階に達しました。

業界には、Miniso 社と同様の産業企業が数多くあり、会話型ロボットのシナリオはそれらの企業にとってより大きな価値をもたらす可能性があります。 Xi AI開発およびコンピューティングプラットフォームの立ち上げに関しては、産業企業に下位レベルのコンピューティングパワー、データ管理、コード不要のアプリケーション、その他の完全なリンクを強化し、これらの企業に低しきい値、低コストのサービスを提供します。コストとトレーニングサイクルの短縮、大規模モデルの産業化計画。今後、MINISO名創優品と同様の事件が多発することが予想される。

さらに、JD Cloud は、他の競合製品と比較して、JD Yanxi AI コンピューティング プラットフォームが採用するローコードの側面により、アプリケーション開発者の開発がさらに遅くなることを強調しました。 、高性能ストレージの点で完全に独立しており、全体的な技術システムは完全な適応性と高いパフォーマンス効率を備えています。

新しいデジタル インフラストラクチャの普及により、数千の業界における大規模モデルの実装がより迅速になり、コスト効率とイノベーションの不可能な三角形がさらに広がることになります。空間。

以上が大規模モデルを簡単にアクセスできるようにするYanxi AI開発およびコンピューティングプラットフォームが正式に開始の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。