目次
論文の概要
ホームページ テクノロジー周辺機器 AI Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

Dec 15, 2023 am 08:41 AM
モデル 電車

コーネル大学と Apple の最新の研究では、より少ない計算能力で高解像度の画像を生成するには、アテンション メカニズムを削除できると結論付けています。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

##ご存知のとおり、アテンション メカニズムは Transformer アーキテクチャの中核コンポーネントであり、高品質のテキストと画像の生成に不可欠です。しかし、その欠陥も明らかです。つまり、シーケンスの長さが増加するにつれて、計算の複雑さが二次関数的に増加します。これは、長いテキストや高解像度の画像処理において厄介な問題です。

この問題を解決するために、この新しい研究では、従来のアーキテクチャのアテンション メカニズムをよりスケーラブルな状態空間モデル (SSM) バックボーンに置き換え、拡散状態空間モデルと呼ばれる新しいアーキテクチャを開発します。 (ディフューズ)。この新しいアーキテクチャは、より少ないコンピューティング能力を使用して、注目モジュールを備えた既存の拡散モデルの画像生成効果と同等またはそれを超え、優れた高解像度画像を生成できます。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

先週の「Mamba」のリリースのおかげで、状態空間モデル SSM がますます注目を集めています。 Mamba の中核は、新しいアーキテクチャ「選択的状態空間モデル」の導入であり、これにより、Mamba は言語モデリングにおいて Transformer に匹敵する、あるいはそれを上回ることさえあります。当時、論文著者の Albert Gu 氏は、Mamba の成功により SSM の将来に自信が持てるようになったと述べました。さて、コーネル大学と Apple のこの論文には、SSM の応用可能性の新たな例が追加されているようです。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

Microsoft の主任研究エンジニアである Shital Shah 氏は、注意喚起のメカニズムが、長い間座ってきた玉座から引きはがされる可能性があると警告しました。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

論文の概要

画像生成分野の急速な進歩は、ノイズ除去拡散の恩恵を受けています。確率モデル (DDPM)。このようなモデルは、生成プロセスを反復ノイズ除去潜在変数としてモデル化し、十分なノイズ除去ステップが実行されると、忠実度の高いサンプルを生成できます。 DDPM は複雑な視覚的分布を捕捉できるため、高解像度でフォトリアリスティックな構成を実現するのに潜在的に有利です。

DDPM をより高い解像度に拡張するには、計算上の重大な課題が残っています。主なボトルネックは、高忠実度の生成を達成する際に自分自身の注意力に依存していることです。 U-Nets アーキテクチャでは、このボトルネックは ResNet とアテンション レイヤーを組み合わせることで発生します。 DDPM は敵対的生成ネットワーク (GAN) を超えていますが、マルチヘッド アテンション レイヤーを必要とします。 Transformer アーキテクチャでは、注意が中心的なコンポーネントであるため、最先端の画像合成結果を達成するために重要です。どちらのアーキテクチャでも、アテンションの複雑さはシーケンスの長さに応じて二次関数的に増加するため、高解像度画像を処理する場合には実行不可能になります。

計算コストのため、以前の研究者は表現圧縮手法を使用するようになりました。高解像度アーキテクチャでは、パッチ適用またはマルチスケール解像度が採用されることがよくあります。ブロッキングにより、粗粒度の表現が作成され、計算コストが削減されますが、重要な高周波空間情報と構造的完全性が犠牲になります。マルチスケール解像度は、アテンション レイヤーの計算を削減する一方で、ダウンサンプリングを通じて空間的な詳細も削減し、アップサンプリングが適用されるときにアーティファクトを生じさせます。

DIFFUSSM は、アテンション メカニズムを使用しない拡散状態空間モデルであり、高解像度画像合成でアテンション メカニズムを適用するときに発生する問題を解決するように設計されています。 DIFFUSSM は、拡散プロセスでゲート状態空間モデル (SSM) を使用します。これまでの研究では、SSM ベースのシーケンス モデルが効果的かつ効率的な一般的なニューラル シーケンス モデルであることが示されています。このアーキテクチャを採用することで、SSM コアがよりきめの細かい画像表現を処理できるようになり、グローバル タイルやマルチスケール レイヤーが不要になります。効率をさらに向上させるために、DIFFUSSM はネットワークの高密度コンポーネントに砂時計アーキテクチャを採用しています。

著者は、さまざまな解像度で DIFFUSSM のパフォーマンスを検証しました。 ImageNet での実験では、DIFFUSSM がさまざまな解像度で総 Gflops を減らしながら、FID、sFID、およびインセプション スコアの一貫した改善を達成することが実証されています。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

#論文リンク: https://arxiv.org/pdf/2311.18257.pdf

DIFFUSSM フレームワーク

元の意味を変えないように、内容を中国語に書き直す必要があります。 著者らの目標は、ブロッキングのような「長さの短縮」を必要とせずに、高解像度で長距離相互作用を学習できる拡散アーキテクチャを設計することでした。 DiT と同様に、このアプローチは画像を平坦化し、シーケンス モデリングの問題として扱うことで機能します。ただし、Transformer とは異なり、このメソッドは、このシーケンスの長さを処理するときに二次計算を使用します。

DIFFUSSM は、長いシーケンスを処理するために最適化されたゲートです。双方向 SSM のコア コンポーネント。効率を向上させるために、著者は MLP 層に砂時計アーキテクチャを導入しました。この設計は、MLP 内のシーケンス長を選択的に削減しながら、双方向 SSM の周囲でシーケンス長を交互に拡張および縮小します。完全なモデル アーキテクチャを図 2 に示します。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

具体的には、各砂時計層は短縮され平坦化された入力シーケンス I ∈ R ^(J×D )、ここで M = L/J は縮小と拡大の比です。同時に、双方向 SSM を含むブロック全体が、グローバル コンテキストを最大限に活用して、元の長さに基づいて計算されます。この記事では、活性化関数を表すために σ を使用します。 l ∈ {1 . . . L} (j = ⌊l/M⌋、m = l mod M、D_m = 2D/M) の場合、計算式は次のとおりです。

#著者は、各層でスキップ接続を使用してゲート SSM ブロックを統合しています。著者らは、図 2 に示すように、クラス ラベル y ∈ R^(L×1) とタイム ステップ t ∈ R^(L×1) の組み合わせを各位置で統合します。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

パラメータ: DIFFUSSM ブロック内のパラメータの数は、主に 9D^2 2MD^2 パラメータを含む線形変換 W によって決定されます。 M = 2 の場合、13D^2 パラメーターが生成されます。 DiT 変換ブロックのコア変換層には 12D^2 パラメータがありますが、DiT アーキテクチャの他の層コンポーネント (適応層正規化) にはさらに多くのパラメータがあります。研究者らは、追加の DIFFUSSM レイヤーを使用して実験のパラメーターを一致させました。

FLOPs: 図 3 は、DiT と DIFFUSSM の Gflops を比較しています。 DIFFUSSM 層の合計フロップは

です。ここで、α は FFT 実装の定数を表します。 M = 2 で線形層が計算の大半を占める場合、これにより約 7.5LD^2 Gflops が得られます。比較すると、この砂時計アーキテクチャで SSM の代わりにフルレングスのセルフ アテンションが使用される場合、追加の 2DL^2 フロップが存在します。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

2 つの実験シナリオを考えてみましょう: 1) D ≈ L = 1024、追加の 2LD^2 フロップが発生します、2) 4D ≈ L = 4096これにより、8LD^2 フロップが発生し、コストが大幅に増加します。双方向 SSM のコア コストはアテンションを使用するコストに比べて小さいため、砂時計アーキテクチャの使用はアテンション ベースのモデルでは機能しません。前述したように、DiT は圧縮表現を犠牲にしてチャンキングを使用することでこれらの問題を回避します。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

#実験結果

カテゴリ条件画像の生成

下表これは、分類子がない場合の DIFFUSSM と現在のすべての最先端のカテゴリ条件付き生成モデルとの比較結果です

ガイダンスを使用すると、DIFFUSSM は FID と sFID の両方で他の拡散モデルよりも優れたパフォーマンスを発揮し、以前の非分類器ガイド付き潜在拡散モデルの最適スコアを 9.62 から 9.07 に下げ、同時に使用されるトレーニング ステップの数を約 1/3 に削減しました。オリジナル。トレーニングされた合計 Gflops に関して、非圧縮モデルは DiT と比較して合計 Gflops を 20% 削減します。分類子を使用しないガイダンスが導入されると、このモデルはすべての DDPM ベースのモデルの中で最高の sFID スコアを達成し、他の最先端の戦略を上回り、DIFFUSSM によって生成された画像が空間歪みに対してより堅牢であることを示しています。 Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

分類子を使用しないガイダンスを使用した場合の DIFFUSSM の FID スコアはすべてのモデルを上回り、DiT と比較した場合、かなり小さなギャップ (0.01) を維持します。合計 Gflops を 30% 削減してトレーニングした DIFFUSSM は、分類子なしのガイダンスを適用しなくても、すでに DiT を上回っていることに注意してください。 U-ViT も Transformer ベースのアーキテクチャですが、ブロック間の長いホップ接続を備えた UNet ベースのアーキテクチャを使用します。 U-ViT は、256×256 解像度で使用する FLOP が少なく、パフォーマンスが向上しますが、512×512 データセットではそうではありません。筆者は主に DiT と比較していますが、公平性を保つため、このロングホップ接続は採用していませんが、U-Vit を採用するというアイデアは DiT と DIFFUSSM の両方にとって有益である可能性があると著者は考えています。

著者らは、分類器を使用しないガイダンスを使用して、高解像度のベンチマークでさらに比較を実施しています。 DIFFUSSM の結果は比較的強力で最先端の高解像度モデルに近く、sFID では DiT よりも劣るだけであり、同等の FID スコアを達成します。 DIFFUSSM は 3 億 200 万枚の画像でトレーニングされ、画像の 40% を観察し、DiT よりも 25% 少ない Gflops を使用しました

無条件画像生成

著者によるモデルの無条件画像生成機能の比較結果を表 2 に示します。著者らの研究では、DIFFUSSM が LDM と同等のトレーニング予算の下で同等の FID スコア (-0.08 と 0.07 の差) を達成したことがわかりました。この結果は、さまざまなベンチマークやさまざまなタスクにわたる DIFFUSSM の適用可能性を強調しています。 LDM と同様に、このメソッドは ADM の総トレーニング予算の 25% しか使用しないため、LSUN-Bedrooms タスクでは ADM より優れたパフォーマンスを発揮しません。このタスクでは、最適な GAN モデルがモデル カテゴリで拡散モデルよりも優れています。

Mamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄

詳細については元の論文を参照してください

以上がMamba の人気 SSM が Apple と Cornell の注目を集める: 気晴らしモデルを放棄の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! Apr 03, 2024 pm 12:04 PM

0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 Apr 29, 2024 pm 06:55 PM

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Jun 11, 2024 am 09:51 AM

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 May 07, 2024 pm 05:00 PM

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、

See all articles