Tencent、コンピューティング電力コストを 50% 節約する最新の大規模モデルのトレーニング方法を公開

コンピューティング能力が不足する中、大規模モデルのトレーニングと推論の効率を向上させ、コストを削減する方法が業界の焦点になっています。

Tencent は 11 月 23 日、Tencent の Hunyuan 大規模モデルの背後にある自社開発の機械学習フレームワーク Angel が再度アップグレードされ、大規模モデルのトレーニング効率が向上したことを明らかにしました。主流のオープンソース フレームワークの 2.6 倍、数千億の大規模モデル トレーニングにより、コンピューティング電力コストを 50% 節約できます。アップグレードされた Angel は、単一タスクで 10,000 ka レベルの超大規模トレーニングをサポートし、Tencent Cloud の HCC 大型モデル専用コンピューティング クラスターのパフォーマンスと効率をさらに向上させます。

同時に、Angel はモデル開発からアプリケーション実装までのワンストップ プラットフォームも提供し、ユーザーが API インターフェイスや微調整を通じて Tencent Hunyuan の大規模モデル機能を迅速に呼び出すことをサポートします。大規模モデル アプリケーションの構築を加速するため、Tencent Conference、Tencent News、Tencent Video などの 300 を超える Tencent 製品とシナリオが Tencent Hunyuan の内部テストに接続されています。

現在、関連する機能は Tencent Cloud を通じて外部に公開されています。アップグレードされた Angel 機械学習フレームワークに基づいて、Tencent Cloud TI プラットフォームは、より優れたトレーニングと推論の高速化機能を提供し、顧客が独自のデータを使用してワンストップのトレーニングと微調整を行い、Tencent の Hunyuan ラージに基づいた独自のインテリジェント アプリケーションを作成できるようにサポートします。モデル。

自社開発の機械学習フレームワークがアップグレードされ、大規模モデルのトレーニングと推論の効率がさらに向上しました。

大規模モデルの時代の到来により、モデルパラメータは指数関数的に増加し、兆レベルに達しました。大規模なモデルは、単一のモダリティとタスクのサポートから、複数のモダリティでの複数のタスクのサポートまで徐々に開発されます。この傾向の下、大規模なモデルのトレーニングには単一チップの処理速度をはるかに超える膨大な計算能力が必要となり、マルチカード分散トレーニングの通信損失は膨大になります。ハードウェアリソースの利用率をいかに向上させるかは、国産大型モデル技術の開発と実用化にとって重要な前提条件となっている。

大規模なモデルをトレーニングするために、テンセントは、事前トレーニング、モデルの微調整、強化学習のプロセス全体を高速化する、AngelPTM と呼ばれる機械学習トレーニング フレームワークを開発しました。最適化。 AngelPTM は、最新の FP8 混合精度トレーニング テクノロジを採用し、深く最適化された 4D 並列処理と ZeROCache メカニズムを組み合わせてストレージを最適化します。国内のさまざまなハードウェアと互換性があり、より少ないリソースとより高速なトレーニングが可能です。

#2023 年 4 月、Tencent Cloud は大規模モデル向けの新世代 HCC 高性能コンピューティング クラスターをリリースしました。そのパフォーマンスは前世代の 3 倍です。ハードウェアのアップグレードに加えて、HCC はネットワーク プロトコル、通信戦略、AI フレームワーク、モデルのコンパイルに関してシステム レベルの最適化も実行し、トレーニング、チューニング、およびコンピューティングの電力コストを大幅に削減しました。 AngelPTM はこれまで HCC を通じてサービスを提供してきましたが、この Angel 機械学習フレームワークのアップグレードにより、HCC の大規模モデル専用コンピューティング クラスターのパフォーマンスがさらに向上し、企業による大規模モデルの実用化の加速が支援されます

##モデルパラメータの増加によって引き起こされるトレーニングの課題と推論コストの上昇を解決するために、Tencent が自社開発した大規模モデル推論フレームワーク AngelHCF は、並列機能を拡張し、複数のアテンション最適化戦略を採用することでパフォーマンスを向上させました。同時に、このフレームワークはさまざまな圧縮アルゴリズムにも適応してスループットを向上させ、それによってより高速な推論パフォーマンスと低コストを実現し、大規模なモデル推論サービスをサポートします

業界で主流のフレームワークである AngelHCF の推論速度は 1.3 倍に向上しました。 Tencent の Hunyuan 大型モデル Wenshengtu のアプリケーションでは、推論時間が当初の 10 秒から 3 ～ 4 秒に短縮されました。さらに、AngelHCF は、さまざまな柔軟な大規模モデルの圧縮および量子化戦略もサポートし、自動圧縮もサポートします。

ワンストップのアプリケーション構築により、大規模モデルをすぐに使用できるようになります。

Tencent の Hunyuan 大型モデルは、実用レベルの大規模モデルとして、研究開発の当初からアプリケーション シナリオを重視しており、大規模モデルを実際に実装する際の困難を解決しました。 。 Tencent には多くの種類の製品とアプリケーションがあり、大量のトラフィックがあるため、モデルを実際に「使用する」のは非常に困難です。 Angel に基づいて、Tencent は、データ処理、微調整、モデル評価、ワンクリック導入、即時ワード最適化などのサービスを含む、大規模モデルのアクセスとアプリケーション開発のためのワンストップ プラットフォームを構築し、大規模モデルの使用を可能にしました。 「すぐに使える」ことが可能になります。

モデル アクセスに関して、Tencent Hunyuan Large Model は、1,000 億、100 億、10 億を超えるサイズのモデルを提供し、さまざまなアプリケーション シナリオのニーズに完全に適応します。シンプルな微調整により、ビジネス ニーズを満たし、モデルのトレーニングと推論サービスのリソース コストを削減できます。 Q&A やコンテンツ分類などの一般的なアプリケーション シナリオでは、コスト効率が高くなります。

アプリケーション開発レベルでは、Tencent 内の 300 以上のビジネスとアプリケーション シナリオが Tencent に接続されています。渾源大型モデル 社内テストの数は先月と比べて倍増し、本文の要約、要約、作成、翻訳、コーディングなどの複数の分野をカバーしています。

2023 年 9 月、Tencent が独自に開発した実用的な大規模モデルである Tencent Hunyuan が正式に発表され、Tencent Cloud を通じてオープンされました。 Tencent Hunyuan のパラメータ スケールは 1,000 億を超え、事前トレーニング コーパスには 2 兆を超えるトークンが含まれています。 Tencent の独立したテクノロジーの蓄積を事前トレーニング アルゴリズム、機械学習プラットフォーム、基盤となるコンピューティング リソースに統合し、アプリケーション内で反復処理を継続して大規模モデルの機能を継続的に最適化します。現在、小売、教育、金融、医療、メディア、運輸、官公庁などの複数の業界の顧客が、Tencent Cloudを通じてTencent Hunyuanの大規模モデルにアクセスしています

以上がTencent、コンピューティング電力コストを 50% 節約する最新の大規模モデルのトレーニング方法を公開の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。