ホームページ テクノロジー周辺機器 AI 単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソース

単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソース

Jun 05, 2024 pm 10:14 PM
業界 クンルン・ワンウェイ

大規模モデルの波の中で、最先端の高密度セット LLM のトレーニングとデプロイは、特に数百億または数千億のパラメーターの規模で、計算要件と関連コストの点で大きな課題を引き起こします。これらの課題に対処するために、専門家混合 (MoE) モデルなどのスパース モデルの重要性がますます高まっています。 これらのモデルは、さまざまな特殊なサブモデル、つまり「エキスパート」に計算を分散することで経済的に実行可能な代替手段を提供し、リソース要件が非常に低い高密度セット モデルのパフォーマンスに匹敵する、またはそれを超える可能性があります。

6 月 3 日、オープンソースの大規模モデルの分野から別の重要なニュースが届きました。Kunlun Wanwei は、強力なパフォーマンスを維持しながら推論のコストを大幅に削減する、2,000 億のスパース大規模モデル Skywork-MoE のオープンソースを発表しました

Kunlun Wanwei の以前のオープンソース Skywork-13B モデル中間チェックポイントに基づいて拡張された、MoE Upcycling テクノロジーを完全に適用および実装した最初のオープンソースの 1,000 億 MoE 大型モデルでもあります。単一の 4090 サーバーで数千億の MoE の大規模モデル。

大規模なモデル コミュニティにとってさらに注目を集めているのは、Skywork-MoE のモデルの重みと技術レポートが完全にオープンソースであり、商用利用が無料で、申請も必要ないことです。

  • モデルウェイトのダウンロードアドレス:

○ https://huggingface.co/Skywork/Skywork-MoE-base

○ https://huggingface.co/Skywork/Skywork-MoE-Base-FP8

  • モデルオープンソースウェアハウス: https://github.com/SkyworkAI/Skywork-MoE

  • モデル技術レポート: https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe - tech-report.pdf

  • モデル推論コード: (8x4090 サーバーで 8 ビット量子化負荷推論をサポート) https://github.com/SkyworkAI/vllm

Skywork-MoE は現在、以下を推論できます。 8x4090 サーバー 最大のオープンソース MoE モデル。 8x4090 サーバーには合計 192GB の GPU メモリが搭載されており、FP8 量子化 (重みは 146GB を占有) では、Kunlun Wanwei チームが開発した不均一 Tensor Parallel 並列推論手法を使用して、Skywork-MoE は適切な範囲内で 2200 トークン/秒に達します。バッチサイズ。

関連する完全な推論フレームワーク コードとインストール環境については、https://github.com/SkyworkAI/Skywork-MoE を参照してください。 Tiangong 3.0 R&D モデル シリーズはミッドレンジ モデル (Skywork-MoE-Medium) で、モデルの総パラメータ量は 146B、起動パラメータ量は 22B、各エキスパートのサイズは合計 13B です。 、毎回そのうちの2つがアクティブになります。

Tiangong 3.0 は、このオープンソースには含まれていない 2 つの MoE モデル、75B (Skywork-MoE-Small) と 400B (Skywork-MoE-Large) もトレーニングしていることがわかります。 Kunlun Wanwei は、現在の主要モデルの評価リストに基づいて Skywork-MoE を評価しました。同じ 20B の起動パラメータ量 (推論計算量) の下で、Skywork-MoE の機能は 70B Dense モデルに近い業界の最前線にあります。これにより、モデルの推論コストが 3 倍近く削減されます。

Skywork-MoE の合計パラメーター サイズは DeepSeekV2 の合計パラメーター サイズより 1/3 小さく、より小さいパラメーター サイズで同様の機能を実現していることは注目に値します。

技術革新

単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソース困難な MoE モデルのトレーニングと貧弱な汎化パフォーマンスの問題を解決するために、Skywork-MoE は 2 つのトレーニング最適化アルゴリズムを設計しました:

ゲーティング ロジット正規化操作

Skywork-MoE のゲーティング正規化操作が層のトークン配布ロジックに追加されました。これにより、ゲート層のパラメータ学習が選択された上位 2 つの専門家により偏り、上位 2 の MoE モデルの信頼性が高まります:

適応型 Aux 損失

は、固定係数 (固定ハイパーパラメータ) を使用した従来の Aux 損失とは異なり、モデルが MoE トレーニングのさまざまな段階で適切な Aux 損失ハイパーパラメータ係数を適応的に選択できるため、ドロップ トークン レートを範囲内に維持できます。適切な間隔を設定すると、エキスパートの分散のバランスが取れ、エキスパートの学習を差別化できるため、モデルの全体的なパフォーマンスと汎化レベルが向上します。 MoE トレーニングの初期段階では、パラメーターの学習が不十分なため、ドロップ トークン レートが高すぎます (トークンの分布が異なりすぎます)。このとき、後の段階でトークンの負荷分散を支援するために、より大きな AUX 損失が必要になります。 Skywork-MoE チームは、ゲーティングがトークンをランダムに配布する傾向を回避するために、エキスパート間である程度の差別化が依然として確保されていることを期待しているため、修正を減らすには補助損失を低くする必要があります。

単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソーストレーニングインフラ

MoEモデルの大規模分散トレーニングを効率的に実施する方法は難しい課題です。 Skywork-MoE は、キロカロリー クラスターで MFU の 38% のトレーニング スループットを達成するための 2 つの重要な並列最適化設計を提案しています。MFU は、22B の活性化パラメーターで理論上の計算負荷を計算します。

単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソース

専門家データの並列

Megatron-LM コミュニティの既存の EP (Expert Parallel) および ETP (Expert Tensor Parallel) 設計とは異なり、Skywork-MoE チームは Expert Data Parallel と呼ばれる並列設計ソリューションを提案しました。この並列ソリューションは Expert When the数が少ない場合でも、モデルを効率的にセグメント化することができ、Expert によって導入された all2all 通信も最適化して最大限にマスクすることができます。 EP の GPU 数の制限やキロカード クラスタでの ETP の非効率と比較して、EDP は大規模な分散トレーニング MoE の並行する問題点をより適切に解決できます。同時に、EDP の設計はシンプルで堅牢で、拡張が容易です。迅速な実装と検証が可能です。 E 最も単純な EDP の例の 1 つ、2 枚のカードの場合、TP = 2、EP = 2、アテンション部分は Tensor Parallel を使用し、Expert 部分は Expert Parallel を使用します

単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソース

不均一切削水平行水平行水

最初のステージの埋め込み計算と最後のステージの損失計算、およびパイプライン バッファーの存在により、各ステージの計算負荷とビデオ メモリ負荷に明らかな不均衡が生じます。レイヤーはパイプライン並列処理の下で均等に分割されます。 Skywork-MoE チームは、全体的なコンピューティング/グラフィックス メモリ負荷のバランスをより良くし、エンドツーエンドのトレーニング スループットを約 10% 向上させるために、不均一なパイプライン並列セグメンテーションと再計算レイヤ割り当て方法を提案しました。

均一セグメンテーションと不均一セグメンテーションの下でパイプラインの並列バブルを比較します: 24 層 LLM の場合、(a) は 4 つのステージに均等に分割され、各ステージの層の数は次のとおりです: [ 6 , 6, 6, 6] は最適化された不均一分割方法であり、各ステージのレイヤー数は [5, 5, 5, 5, 4] です。中段は流水で満たされており、不均一に分割された泡はさらに低くなります。

単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソースさらに、Skywork-MoE は、どの制約がアップサイクルおよびフロムスクラッチトレーニング MoE モデルのパフォーマンスに影響を与えるかを調査するために、スケーリング則に基づいた一連の実験も実施しました。

従うことができる経験則は次のとおりです: MoE モデルのトレーニングの FLOP が Dense モデルのトレーニングの FLOP の 2 倍を超える場合は、Scratch から MoE をトレーニングすることを選択する方が良いでしょう。 MoE のトレーニングにアップサイクルを選択すると、トレーニング コストを大幅に削減できます。

以上が単一の 4090 推論可能、2000 億のスパース大規模モデル「Tiangong MoE」がオープンソースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

7つの「ソラレベル」ビデオ生成アーティファクトをテストしました。誰が「鉄の玉座」に昇る能力を持っていますか? 7つの「ソラレベル」ビデオ生成アーティファクトをテストしました。誰が「鉄の玉座」に昇る能力を持っていますか? Aug 05, 2024 pm 07:19 PM

Machine Power Report 編集者: Yang Wen AI ビデオ サークルの王になれるのは誰ですか?アメリカのテレビシリーズ「ゲーム・オブ・スローンズ」に「鉄の玉座」というものがあります。伝説によれば、それは最高の権威を象徴する敵が捨てた数千の剣を溶かした巨大なドラゴン「黒死病」によって作られたとされています。この鉄の椅子に座るために、主要な家族は争いと争いを始めました。 Sora の登場以来、AI ビデオ界では活発な「ゲーム オブ スローンズ」が立ち上がっています。このゲームの主なプレーヤーには、国内の Kuaishou Keling、ByteDream だけでなく、海の向こうの RunwayGen-3 や Luma も含まれます。およびZhimo。今日は、誰が AI ビデオサークルの「鉄の玉座」に座る資格があるかを評価して確認します。 -1- ヴィンセントビデオ

See all articles