目次
定性分析および定量分析
ホームページ テクノロジー周辺機器 AI 昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

Mar 27, 2024 pm 03:30 PM
モデル 電車

Sora の立ち上げが成功したことにより、ビデオ DiT モデルは幅広い注目と議論を集めました。安定した非常に大規模なニューラル ネットワークの設計は、視覚生成の分野において常に研究の焦点となってきました。 DiT モデルの成功により、スケーリング画像生成に新たな可能性がもたらされました。

しかし、ビデオ データは高度に構造化され複雑な性質を持っているため、DiT をビデオ生成の分野に拡張することは困難な作業です。上海人工知能研究所などの研究チームで構成されたチームは、大規模な実験を通じてこの疑問に答えた。

昨年 11 月、チームは Latte と呼ばれる自社開発モデルをリリースしました。そのテクノロジーは Sora に似ています。 Latte は世界初のオープンソースの文生ビデオ DiT であり、広く注目を集めています。 Open-Sora Plan (PKU) や Open-Sora (ColossalAI) などの多くのオープン ソース フレームワークは、Latte のモデル設計を使用および参照しています。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

  • オープンソースリンク: https://github.com/Vchitect/Latte
  • プロジェクトのホームページ: https://maxin-cn.github.io/latte_project/
  • ペーパーリンク: https:/ /arxiv.org/pdf/2401.03048v1.pdf

まず、Latte のビデオ生成効果を見てみましょう。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

メソッドの紹介

一般に、Latte には、事前トレーニングされた VAE とビデオという 2 つの主要なモジュールが含まれています。ディット。事前トレーニングされた VAE では、エンコーダーはビデオをピクセル空間から潜在空間にフレームごとに圧縮する役割を担い、ビデオ DiT はトークンを抽出し、時空間モデリングを実行して潜在表現を処理する役割を担います。ビデオを生成するためのピクセル空間の機能。最高のビデオ品質を得るために、研究者らは、Latte 設計における 2 つの重要な側面、つまりビデオ DiT モデルの全体的な構造設計とモデル トレーニングのベスト プラクティスの詳細に焦点を当てました。

(1) Latte 全体モデル構造設計検討

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

図 1 Latte モデルの構造とそのバリアント

著者は 4 つの異なる Latte バリアント (図 1) を提案し、時空間的注意メカニズムの観点から 2 つの Transformer モジュールを設計しました。各モジュールで学習:

1. 単一の注意メカニズム モジュール、各モジュール にのみ時間または空間の注意が含まれます

  • 時空間インターリーブ モデリング (バリアント 1): 時間モジュールは各空間モジュールの後に挿入されます。
  • 時空間シーケンシャル モデリング (バリアント 2): 時間モジュールは完全に空間モジュールの後に配置されます。

2. 複数の注意メカニズム モジュール、各モジュール には時間的および空間的注意メカニズムの両方が含まれています (Open-sora 参照バリアント)

  • 連続時空間注意メカニズム (バリアント 3): 時空間注意メカニズムの連続モデリング。
  • 並列時空間注意メカニズム (バリアント 4): 時空間注意メカニズムの並列モデリングと機能融合。

実験では、4 つのモデル バリアントに同じパラメーター量を設定することにより、バリアント 4 が他の 3 つのバリアントよりも FLOPS のパフォーマンスが優れていることがわかります (図 2)。明らかな違いがあるため、FVD も相対的に最も高くなります。他の 3 つのバリアントも全体的なパフォーマンスは同様です。バリアント 1 が最高のパフォーマンスを達成しました。今後、大規模データについてさらに詳細な議論を行う予定です。」

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

#図 2. モデル構造 FVD

(2) Latte モデルとトレーニングの詳細最適な設計の探索 (ベスト プラクティス)

モデルの全体的な構造設計に加えて、著者は他のモデルやトレーニングの生成効果に影響を与える要因も探索しました。 。

1.トークン抽出: 単一フレーム トークン (a) と時空間トークン (b) の 2 つの方法が検討されました。前者は空間レベルでのみトークンを圧縮します。後者は時空間情報を同時に圧縮します。実験の結果、単一フレーム トークンは時空間トークンよりも優れていることがわかりました (図 4)。 Sora と比較すると、Sora が提案する時空間トークンはビデオ VAE によって時間次元で事前圧縮されており、潜在空間における Latte の設計と同様に、単一フレームのトークン処理のみが実行されると著者は推測しています。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

#図 3. トークン抽出方法、(a) 単一フレーム トークンと (b) 時空トークン

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

#図 4. トークン抽出 FVD

2. 条件付き注入モード: (a) S-AdaLN の探索(b) すべてのトークンは双方向です (図 5)。 S-AdaLN は、正規化で条件情報を変数に変換し、MLP を通じてモデルに注入します。 [すべてのトークン] フォームは、すべての条件をモデルへの入力として統合トークンに変換します。実験では、S-AdaLN メソッドがすべてのトークンよりも高品質の結果を得るのに効果的であることが示されました (図 6)。その理由は、S-AdaLN により各モジュールに情報を直接注入できるためです。ただし、すべてのトークンは条件付き情報を入力から最終層までレイヤーごとに渡す必要があり、情報フローのプロセスで損失が発生します。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説図 5. (a) S-AdaLN と (b) すべてのトークン。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説図 6. 条件付き注入法 FVD

3.

時空間位置エンコーディング: 絶対位置エンコーディングと相対位置エンコーディングを調べます。 異なる位置エンコーディングは最終的なビデオ品質にほとんど影響を与えません (図 7)。生成時間が短いため、位置エンコーディングの違いはビデオ品質に影響を与えるほどではありませんが、長いビデオを生成する場合は、この要素を再検討する必要があります。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

図 7. 位置エンコード方式 FVD

4.

モデルの初期化 : ImageNet の事前トレーニング パラメーターの初期化を使用した場合のモデルのパフォーマンスへの影響を調査します。実験の結果、 ImageNet を使用して初期化されたモデルの方が収束速度が速いことがわかりましたが、トレーニングが進むにつれて、ランダムに初期化されたモデルの方がより良い結果が得られます (図 8)。考えられる理由は、ImageNet とトレーニング セット FaceForensics の間に比較的大きな分布の差があるため、モデルの最終結果を促進できなかったことです。 Vincent ビデオ タスクでは、この結論を再検討する必要があります。一般的なデータセットの配布では、画像とビデオのコンテンツの空間分布は類似しており、事前トレーニングされた T2I モデルの使用により T2V を大幅に促進できます。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

図 8. 初期化パラメータ FVD

5.

画像とビデオの共同トレーニング: 共同トレーニング用にビデオと画像を統一トークンに圧縮します。ビデオ トークンはすべてのパラメータの最適化を担当し、画像トークンは空間パラメータの最適化のみを担当します。 共同トレーニングにより、最終結果が大幅に改善されました (表 2 および表 3). 画像 FID とビデオ FVD の両方が共同トレーニングによって減少しました. この結果は、UNet ベースのフレームワークと一致しています [2][3] 』は一貫している。

6.

モデル サイズ : S、B、L、XL の 4 つの異なるモデル サイズを検討しました (表 1)。 ビデオ DiT の規模を拡大すると、生成されるサンプルの品質が大幅に向上します (図 9)。この結論は、その後のスケールアップのためにビデオ拡散モデルで Transformer 構造を使用することが正しいことも証明します。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説#表 1. さまざまなサイズのラテ モデル スケール

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

図 9. モデル サイズ FVD

定性分析および定量分析

著者4 つの学術データセット (FaceForensics、TaichiHD、SkyTimelapse、UCF101) でそれぞれトレーニングされました。定性的および定量的な結果 (表 2 および表 3) は、Latte が最高のパフォーマンスを達成したことを示しており、モデルの全体的な設計が優れていることを証明しています。

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

表 2. UCF101 画質評価

昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説

##表 3. Latte および SoTA のビデオ品質評価

## Vincent Video Extension

Latte の一般的なパフォーマンスをさらに証明するために、著者は空間パラメータの初期化として事前にトレーニングされた PixArt-alpha [4] モデルを使用して、Latte を Vincent ビデオ タスクに拡張しました。ラテはトレーニングの途中で、まずヴィンセントのビデオを作成する能力を身につけました。今後はスケールアップによりラテ生成能力の上限を検証する予定です。

ディスカッションと要約

Latte は、世界初のオープンソース Vincent ビデオ DiT として有望な結果を達成しましたが、計算上の理由により、リソースには大きな違いがあり、生成の明確さ、流暢さ、持続時間の点でソラと比較するとまだ大きな差があります。チームはあらゆる種類の協力を歓迎し、積極的に求めており、オープンソースの力を利用して、優れたパフォーマンスを備えた自社開発の大規模ユニバーサルビデオ生成モデルを作成したいと考えています。

以上が昨年末にローンチした世界初のオープンソースVincentビデオ「Latte」を詳しく解説の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! Apr 03, 2024 pm 12:04 PM

0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 Apr 29, 2024 pm 06:55 PM

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Jun 11, 2024 am 09:51 AM

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 May 07, 2024 pm 05:00 PM

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、

See all articles