マルチモーダル自己教師あり学習: 目的関数、データ調整、モデル アーキテクチャの探索 - 最新のエディンバラのレビューを例に
マルチモーダル学習は、複数のモダリティからの情報を理解して分析することを目的としており、近年、監視メカニズムが大幅に進歩しました。
#ただし、データへの依存度が高く、高価な手動アノテーションが組み合わされると、モデルのスケーリングが妨げられます。同時に、現実世界では大規模なラベルなしデータが利用できるため、自己教師あり学習はラベル付けのボトルネックを軽減する魅力的な戦略となっています。
これら 2 つの方向に基づいて、自己教師ありマルチモーダル学習 (SSML) は、元のマルチモーダル データからの監視を活用する方法を提供します。
##論文アドレス: https : //arxiv.org/abs/2304.01008
#プロジェクト アドレス: https://github.com/ ys-zong/awesome-self-supervised-multimodal-learning
このレビューでは、最先端の手法の包括的なレビューを提供します。 SSML では、目的関数、データ アラインメント、モデル アーキテクチャという 3 つの直交軸に沿って分類します。 これらの軸は、自己教師あり学習方法とマルチモーダル データの固有の特性に対応します。
具体的には、トレーニング目標をインスタンス識別、クラスタリング、マスク予測のカテゴリに分割します。また、トレーニング中のマルチモーダル入力データのペアリングと調整戦略についても説明します。最後に、SSML メソッドの重要なコンポーネントであるエンコーダー、融合モジュール、デコーダーの設計を含むモデル アーキテクチャを確認します。
ダウンストリームのマルチモーダル アプリケーション タスクをレビューし、最先端の画像テキスト モデルとマルチモーダル ビデオ モデルの具体的なパフォーマンスをレポートし、SSML もレビューします。さまざまな分野でのアルゴリズム ヘルスケア、リモートセンシング、機械翻訳などの実用的なアプリケーション。最後に、SSML の課題と将来の方向性について説明します。
1. はじめに人間は、視覚、聴覚、触覚、嗅覚などのさまざまな感覚を通じて世界を認識します。私たちは、各モダリティからの補完的な情報を活用することで、周囲の状況を包括的に理解します。 AI 研究は、人間の行動を模倣し、同様の方法で世界を理解するインテリジェント エージェントの開発に焦点を当ててきました。この目的を達成するために、マルチモーダル機械学習の分野 [1]、[2] は、複数の異なるモダリティからのデータを処理および統合できるモデルを開発することを目的としています。近年、マルチモーダル学習は大幅な進歩を遂げ、視覚および言語学習 [3]、ビデオ理解 [4]、[5]、生物医学 [6]、自動運転 [7] などの分野での一連の応用につながっています。より根本的には、マルチモーダル学習は、人工知能における長年の基礎的な問題を前進させており、私たちをより一般的な人工知能に近づけています。
ただし、マルチモーダル アルゴリズムでは、効果的なトレーニングを行うために依然として高価な手動アノテーションが必要なことが多く、これがアルゴリズムの拡張の妨げになっています。最近、自己教師あり学習 (SSL) [9]、[10] が、すぐに利用できる注釈付きデータから教師を生成することで、この問題を軽減し始めています。シングルモーダル学習における自己監視はかなり明確に定義されており、トレーニングの目的と、監視に人間による注釈が使用されるかどうかのみに依存します。ただし、マルチモーダル学習の文脈では、その定義はより微妙になります。マルチモーダル学習では、1 つのモダリティが別のモダリティの監視信号として機能することがよくあります。手動アノテーションのボトルネックを解消することによる上方スケーリングの目標に関して、自己監視の範囲を定義する際の重要な問題は、クロスモーダルペアリングが自由に取得できるかどうかです。
自己教師ありマルチモーダル学習 (SSML) は、自由に利用できるマルチモーダル データと自己教師あり目標を活用することで、マルチモーダル モデルの機能を大幅に強化します。 このレビューでは、SSML アルゴリズムとそのアプリケーションをレビューします。目的関数、データ アライメント、モデル アーキテクチャという 3 つの直交軸に沿ってさまざまな手法を分解します。 これらの軸は、自己教師あり学習アルゴリズムの特性と、マルチモーダル データに必要な特定の考慮事項に対応します。図 1 は、提案された分類法の概要を示しています。事前タスクに基づいて、トレーニング目標をインスタンス識別、クラスタリング、マスク予測のカテゴリに分割します。これらのアプローチを 2 つ以上組み合わせたハイブリッド アプローチについても説明します。
マルチモーダル自己監視に特有なのは、マルチモーダル データ ペアリングの問題です。 モダリティ間のペアリング、またはより一般的にはアラインメントは、SSML アルゴリズムによって入力として (たとえば、あるモダリティが別のモダリティに監視を提供するために使用される場合) だけでなく、出力としても (たとえば、ペアになっていないデータから学習し、副産物)。我々は、マルチモーダルな自己監視で自由に利用できるとしばしば想定されている粗粒度レベルでの位置合わせのさまざまな役割 (例: Web クロールされた画像とキャプション [11])、時には明示的または暗黙的に誘導される粒度の細かい位置合わせ (例: 、タイトルの単語と画像パッチの対応[12])。さらに、目的関数とデータ調整の仮定の交差部分を調査します。
は、最新の SSML モデル アーキテクチャの設計も分析します。 具体的には、モード固有のエンコーダ (融合なしまたは後期融合あり) と初期融合のある統合エンコーダを比較して、エンコーダと融合モジュールの設計空間を検討します。また、特定のデコーダ設計を備えたアーキテクチャを調査し、これらの設計選択の影響についても説明します。
最後に、医療、リモート センシング、機械翻訳などを含む複数の実世界のドメインにおけるこれらのアルゴリズムの応用について説明し、SSML の技術的課題と社会的影響について説明します。については徹底的に議論されており、将来の研究の方向性を示しています。この分野の研究者や実務者に出発点を提供するために、手法、データセット、実装における最近の進歩を要約します。
既存のレビュー論文は、教師ありマルチモーダル学習 [1]、[2]、[13]、[14] のみに焦点を当てているか、単一モダリティの自己教師あり学習 [9] に焦点を当てています。 ]、[10]、[15]、または視覚言語事前トレーニング [16] などの SSML の特定のサブ領域。 最も関連性の高いレビューは[17]ですが、時間データに重点を置き、アライメントとアーキテクチャのマルチモーダル自己監視の重要な考慮事項を無視しています。対照的に、SSML アルゴリズムの包括的かつ最新の概要を提供し、アルゴリズム、データ、アーキテクチャをカバーする新しい分類法を提供します。
マルチモーダル学習における自己監視
この用語は以前の文献で一貫性なく使用されてきたため、最初にこの調査で考慮される SSML の範囲について説明します。シングルモーダルコンテキストでの自己監視の定義は、さまざまな口実タスクのラベルフリーの性質を呼び出すことでより簡単になります。たとえば、よく知られたインスタンスの識別 [20] やマスクされた予測ターゲット [21] による自己監視の実装などです。対照的に、マルチモーダル学習では、モダリティとラベルの役割があいまいになるため、状況はさらに複雑になります。たとえば、教師付き画像キャプション [22] では、テキストは通常ラベルとして扱われますが、自己教師付きマルチモーダル視覚および言語表現学習 [11] では、テキストは入力モダリティとして扱われます。
マルチモーダルの文脈では、自己監視という用語は、少なくとも 4 つの状況を指すために使用されています。 (1) 自動的にペアになったマルチモーダル データからのラベルフリー学習 — — 映画などビデオとオーディオのトラック [23]、または RGBD カメラからの画像と深度データ [24] を使用します。 (2) マルチモーダル データからの学習。1 つのモダリティに手動でアノテーションが付けられている、または 2 つのモダリティが手動でペアになっていますが、このアノテーションは別の目的のために作成されているため、SSML の事前トレーニングには無料であると見なされます。たとえば、独創的な CLIP [11] で使用されている、ウェブから取得した画像とキャプションのペアのマッチングは、実際にはペアリングが監視される教師あり計量学習 [25]、[26] の一例です。ただし、パターンとペアリングは両方とも大規模に自由に利用できるため、多くの場合、自己監視型であると説明されます。この未管理の偶発的に作成されたデータは、COCO [22] や Visual Genome [27] などの特別に厳選されたデータセットよりも品質が低く、ノイズが多いことがよくあります。 (3) 高品質の目的アノテーション付きマルチモーダル データ (たとえば、COCO [22] の手動でキャプションが付けられた画像) から学習しますが、Pixel-BERT [28] などの自己教師型スタイルの目的を使用します。 (4) 最後に、無料のマルチモーダル データと手動でラベル付けされたマルチモーダル データを組み合わせて使用する「自己教師あり」手法があります [29]、[30]。この調査の目的のために、私たちは自己監視の考えに従い、手動アノテーションのボトルネックを打破することでスケールアップを目指します。したがって、自由に利用できるデータでトレーニングできるという観点から、最初の 2 つのカテゴリと 4 番目のカテゴリのメソッドが含まれています。手動でキュレーションされたデータセットに対してのみ示されている方法は、キュレーションされたデータセットに典型的な「自己監視」目標 (マスクされた予測など) を適用するため、除外します。
(a) 教師ありマルチモーダル学習と (b) 自己教師あり マルチモーダル学習の学習パラダイム: 手動アノテーションなしの自己教師あり事前トレーニング(上)、下流のタスクを監督して微調整します (下)。
3. 目的関数
このセクションでは、3 種類の自己教師ありマルチモーダル アルゴリズムのトレーニングに使用される目的関数を紹介します。識別、クラスタリング、マスキング予測。最後に、ハイブリッドターゲットについても説明しました。
3.1 インスタンスの識別
シングルモード学習では、インスタンスの識別 (ID) が元のデータを各データに変換します。のインスタンスは別のクラスとして扱われ、モデルは異なるインスタンスを区別するようにトレーニングされます。マルチモーダル学習のコンテキストでは、インスタンスの識別は通常、2 つの入力モダリティからのサンプルが同じインスタンスからのものであるかどうか、つまりペアであるかどうかを判断することを目的としています。そうすることで、異なるインスタンスのペアの表現空間をさらに遠ざけながら、パターンのペアの表現空間を揃えようとします。インスタンス認識の目標には、入力のサンプリング方法に応じて、対照予測と一致予測の 2 種類があります。
##3.2 クラスタリング
クラスタリング手法は、トレーニングされたエンドツー-end クラスタリングでは、意味的に顕著な特徴に基づいてデータがグループ化されます。実際には、これらの方法は、エンコードされた表現のクラスター割り当てを繰り返し予測し、これらの予測 (擬似ラベルとも呼ばれます) を監視信号として使用して、特徴表現を更新します。マルチモーダル クラスタリングは、マルチモーダル表現を学習する機会を提供し、各モダリティの疑似ラベルを使用して他のモダリティを監視することで従来のクラスタリングを改善することもできます。
3.3 マスク予測
マスク予測タスクでは、自動エンコード (BERT[101] と同様) を使用することも、実行する自動回帰メソッド (GPT [102] と同様)。
以上がマルチモーダル自己教師あり学習: 目的関数、データ調整、モデル アーキテクチャの探索 - 最新のエディンバラのレビューを例にの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

今日は、時系列予測のパフォーマンスを向上させるために、時系列データを潜在空間上の大規模な自然言語処理 (NLP) モデルと整合させる方法を提案するコネチカット大学の最近の研究成果を紹介したいと思います。この方法の鍵は、潜在的な空間ヒント (プロンプト) を使用して時系列予測の精度を高めることです。論文タイトル: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting ダウンロードアドレス: https://arxiv.org/pdf/2403.05798v1.pdf 1. 大きな問題の背景モデル

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。
