Apple の「マトリョーシカ」スタイルの普及モデルにより、トレーニングのステップ数が 70% 削減されました。
Apple による最新の研究により、高解像度画像における拡散モデルのパフォーマンスが大幅に向上しました。
この方法を使用すると、同じ解像度の画像のトレーニング ステップの数が 70% 以上削減されます。
1024×1024の解像度では、画質がそのままフルに表現され、細部まではっきりと見えます。
Apple はこの成果を MDM と名付けました。DM は Diffusion Model の略で、最初の M は Matryoshka の略です。
本物のマトリョーシカ人形と同じように、MDM は高解像度プロセス内に低解像度プロセスをネストし、複数のレイヤーにネストします。
高解像度と低解像度の拡散プロセスが同時に実行されるため、高解像度プロセスにおける従来の拡散モデルのリソース消費が大幅に削減されます。
解像度 256×256 の画像の場合、バッチ サイズ 1024 の環境では、従来の拡散モデルは 150 万ステップでトレーニングする必要がありますが、MDM は 150 万ステップでトレーニングする必要があります。必要となるのは 390,000 で、70% 以上減少します。
さらに、MDM はエンドツーエンドのトレーニングを採用しており、特定のデータセットや事前トレーニングされたモデルに依存せず、生成品質を確保しながら速度を向上させ、柔軟に使用できます。
高解像度の画像を描画できるだけでなく、16×256 平方のビデオを合成することもできます。
#一部のネチズンは、Apple がついにテキストと画像を結びつけたとコメントしました。
それでは、MDM の「マトリョーシカ」テクノロジーは正確にどのように機能するのでしょうか?
全体とプログレッシブの組み合わせ
トレーニングを開始する前に、データを前処理する必要があります。高解像度の画像は、特定のアルゴリズムを使用してリサンプリングされます。解像度のバージョン。
次に、これらの異なる解像度のデータを統合 UNet モデリングに使用します。小さな UNet は低解像度を処理し、高解像度を処理する大きな UNet にネストされます。
クロス解像度接続を通じて、異なるサイズの UNet 間で機能とパラメータを共有できます。
#MDM トレーニングは段階的なプロセスです。
共同でモデリングを行っていますが、最初から高解像度でトレーニングを行うのではなく、低解像度から徐々に拡張していきます。
これにより、膨大な量の計算が回避され、低解像度 UNet の事前トレーニングによって高解像度トレーニング プロセスが高速化されることも可能になります。
トレーニング プロセス中に、より高解像度のトレーニング データがプロセス全体に徐々に追加され、モデルが徐々に増加する解像度に適応し、最終的な高解像度プロセスにスムーズに移行できるようになります。
ただし、全体として、高解像度プロセスが徐々に追加された後でも、MDM トレーニングは依然としてエンドツーエンドの共同プロセスです。
異なる解像度での共同トレーニングでは、複数の解像度の損失関数が一緒にパラメーターの更新に参加し、多段階トレーニングによって引き起こされるエラーの蓄積を回避します。
各解像度には、対応するデータ項目の再構成損失があります。異なる解像度の損失は重み付けされて結合されます。生成品質を確保するために、低解像度の損失の重みが大きくなります。
推論フェーズでは、MDM は並列性と進行性を組み合わせた戦略も採用します。
さらに、MDM は、事前トレーニングされた画像分類モデル (CFG) を使用して、生成されたサンプルがより合理的な方向に最適化されるように導き、低解像度のサンプルにノイズを追加して高解像度のサンプルに近づけます。 -解像度サンプル: サンプルの分布。
それでは、MDM の効果は何でしょうか?
SOTA に匹敵するパラメータが少ない
画像に関して言えば、ImageNet および CC12M データ セットでは、MDM の FID (値が低いほど効果が高くなります) と CLIP パフォーマンスは、SOTA よりも大幅に優れています。通常のディフュージョンモデル。
FID は画像自体の品質を評価するために使用され、CLIP は画像とテキスト命令の一致度を示します。
DALL E や IMGEN などの SOTA モデルと比較すると、MDM のパフォーマンスも非常に近いですが、MDM のトレーニング パラメーターはこれらのモデルよりもはるかに小さいです。
MDM は通常の拡散モデルより優れているだけでなく、他のカスケード拡散モデルよりも優れています。
アブレーション実験の結果は、低解像度トレーニングのステップが増えるほど、MDM 効果の強化がより明らかになる一方、ネスト レベルが増えると同じ結果が得られることを示しています。 CLIP スコアに必要なトレーニング ステップは少なくなります。
CFG パラメーターの選択は、複数のテスト後の FID と CLIP の間のトレードオフの結果です (高い CLIP スコアは CFG 強度の増加に対応します)。
以上がApple の「マトリョーシカ」スタイルの普及モデルにより、トレーニングのステップ数が 70% 削減されました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、
