ホームページ テクノロジー周辺機器 AI CVPR 2024 | 複雑なシーンと言語表現の処理が得意な清華&ボッシュは、新しいインスタンス セグメンテーション ネットワーク アーキテクチャを提案しました MagNet

CVPR 2024 | 複雑なシーンと言語表現の処理が得意な清華&ボッシュは、新しいインスタンス セグメンテーション ネットワーク アーキテクチャを提案しました MagNet

Apr 26, 2024 pm 06:10 PM
プロジェクト 参照セグメンテーション

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

AIxiv コラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com。

参照画像セグメンテーション (RIS) は、非常に困難なマルチモーダル タスクであり、アルゴリズムがきめ細かい人間の言語を同時に理解できる必要があります。視覚的な画像情報と、画像内の文によって参照されるオブジェクトをピクセル レベルでセグメント化します。 RIS テクノロジーのブレークスルーは、人間とコンピューターのインタラクション、画像編集、自動運転などの多くの分野に革命的な変化をもたらすことが期待されています。人間とマシンのコラボレーションの効率とエクスペリエンスを大幅に向上させることができます。現在の最先端の RIS アルゴリズムは大幅な進歩を遂げていますが、依然としてモダリティ ギャップの問題、つまり画像とテキストの特徴の分布が完全に一致していないという問題に直面しています。この問題は、複雑な参照言語表現やまれな文脈を扱う場合に特に深刻です。

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

図 1: RIS におけるきめ細かい言語とイメージの調整機能の重要性を示す概略図。赤いマスクは、現在最も先進的な RIS アルゴリズムの 1 つである LAVT の予測結果であり、黄色の点線のボックスは正しいアノテーションです。

現在の RIS の研究は、主に、新しい損失関数の設計、または言語とイメージの分散調整を強化するための革新的なネットワーク アーキテクチャ/モジュールの導入に焦点を当てています。大きな進歩にもかかわらず、2 つの基本的な問題が残っており、その結果、詳細な視覚的基礎付けが不十分になります:

# 1. これらの方法は、主に言語の文レベルの言語機能に依存しています。画像の位置合わせが行われるため、テキスト レベルでの言語と画像の位置合わせ機能が弱くなります。
2. これらの方法では、トレーニング プロセス中に明示的な監視信号が不足していることが多く、モデルに詳細な調整を実行するように効果的に教えることができないため、複雑な参照言語を処理する際のパフォーマンスが低下します。

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

清華大学オートメーション学部とボッシュ中央研究所の共同研究チームは、最近のCVPR 2024の研究で、新しい補助タスク「マスク」を設計しました。接地。このタスクの目的は、テキスト単語の一部をランダムにマスクし、アルゴリズムにそれらの本当のアイデンティティを予測することを学習させることで、テキストと視覚オブジェクトの間のきめ細かい対応関係を学習するようにモデルに明示的に教えることです。さらに、言語と画像間のモーダルギャップをさらに包括的に削減するための、新しいクロスモーダルアライメントモジュールと新しいクロスモーダルアライメントロス関数(クロスモーダルアライメントロス)も提案しました。これらのテクノロジーに基づいて、新しいインスタンス セグメンテーション ネットワーク アーキテクチャである Mask-grounded Network (MagNet) を設計しました。

論文タイトル: 参照画像セグメンテーションのためのマスクグラウンディング

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet論文アドレス: https://arxiv .org/abs/2312.12198

  • RefCOCO、RefCOCO、および G-Ref データセットでは、MagNet は以前のすべての最適アルゴリズムを大幅に上回りました。 Interaction over Union (oIoU) 全体の割合は 2.48 パーセント ポイントと大幅に増加しました。視覚化の結果は、MagNet が複雑なシーンや言語表現の処理において優れたパフォーマンスを備えていることも確認しています。
#メソッド

##MagNet は 3 つの独立した補完的なもので構成されます。モジュールは、マスク グラウンディング、クロスモーダル アライメント モジュール、クロスモーダル アライメント ロスで構成されます。
1.マスクの接地
図 3: マスクの接地フローチャート

図 3 に示すように、入力画像が与えられると、対応する指示表現とセグメンテーション マスクの場合、作成者は文内の特定の単語をランダムに選択し、それらを特別な学習可能なマスク トークンに置き換えます。次に、これらの置換された単語の実際のアイデンティティを予測するためにモデルがトレーニングされます。マスクされたトークンの身元を正しく予測することで、モデルはテキスト内のどの単語が画像のどの部分に対応するかを理解することができ、その過程できめ細かい言語と画像の位置合わせ機能を学習します。この補助タスクを実行するには、まずマスク領域の中心座標が抽出され、2 層 MLP に渡されて、セグメンテーション マスクの特徴がエンコードされます。同時に、線形レイヤーを使用して、言語特徴を画像特徴と同じ次元にマッピングします。次に、これらの特徴は、提案されたマスク トークン予測器を使用して共同処理され、マスク トークンの予測にはアテンション メカニズム モジュールが使用されます。マスク グランディングでは、マスクされた式を処理するために言語エンコーダーを通過する追加の順方向パスが必要ですが、言語エンコーダーが非常に小さいため、全体の計算コストは​​ほとんど無視できます。

2.クロスモーダル アライメント モジュール (CAM)

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

# #図 4 に示すように、モデルのパフォーマンスをさらに向上させるには、著者も提案したクロスモーダル アライメント モジュール モダリティ アライメント モジュール (CAM)。言語と画像の融合を実行する前に、グローバル コンテキスト事前分布を画像特徴に注入することで、言語と画像のアライメントを強化します。 CAM はまず、異なるウィンドウ サイズのプーリング操作を使用して、異なるピラミッド スケールの K 個の特徴マップを生成します。次に、各特徴マップは 3 層 MLP を通過して、グローバル情報をより適切に抽出し、別のモダリティとのクロスアテンション操作を実行します。次に、すべての出力特徴が双一次補間によって元の特徴マップ サイズにアップサンプリングされ、チャネル次元で連結されます。その後、2 層 MLP を使用して、連結されたフィーチャ チャネルの数を元のサイズに戻します。マルチモーダル信号が元の信号を圧倒するのを防ぐために、タン非線形性を持つゲート ユニットを使用して最終出力を変調します。最後に、このゲートされた特徴は入力特徴に追加され、画像または言語エンコーダーの次の段階に渡されます。著者らの実装では、CAM は画像および音声エンコーダの各段階の最後に追加されます。

3.クロスモーダル アライメント損失 (CAL)

# #図 5: クロスモーダル アライメント損失の式

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

言語と画像の特徴のモデルの整合性を監視するために、著者は新しい交差を提案します。 -modal アライメント損失の式 状態アライメント損失関数 (CAL)。図 5 に、この損失関数の数式を示します。以前の作品とは異なり、CAL ではピクセルからピクセル (P2P) とピクセルからテキスト (P2T) の両方の位置合わせが考慮されます。正確なピクセル間の位置合わせにより、モデルは正確な形状と境界を持つセグメンテーション マスクをセグメント化して出力できるようになります。一方、正確なピクセル間の位置合わせにより、モデルはテキストの説明と一致する画像領域を正しく関連付けることができます。
#実験

表 1 では、著者は oIoU メトリクスを使用して MagNet を評価しています。既存の最先端アルゴリズムとのパフォーマンスの比較。テストデータはRefCOCO、RefCOCO、G-Refです。単一データセット設定と複数/追加データセット設定の両方で、MagNet のパフォーマンスはこれらのデータセット上ですべて SOTA です。

1: 実験結果

# 可能 CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet
##図 6: MagNet の可視化結果
## 図 6 では、MagNet の可視化結果がも際立っており、多くの困難なシナリオにおけるベースライン LAVT。

概要
この記事では、参照セグメンテーション (RIS) の分野の課題について詳しく説明します。そして現在の問題、特に言語とイメージをきめ細かく調整する際の欠点。これらの問題に対応して、清華大学とボッシュ中央研究所の研究者は、MagNet と呼ばれる新しい方法を提案しました。これは、補助タスクであるマスク グランディング、クロスモーダル アライメント モジュール、およびクロスモーダル アライメント損失関数を導入することで言語を包括的に改善します。画像間の位置合わせ効果。実験では、MagNet が RefCOCO、RefCOCO、および G-Ref データ セットで大幅に優れたパフォーマンスを達成し、以前の最先端のアルゴリズムを上回り、強力な一般化機能を示していることが証明されています。視覚化の結果は、複雑なシーンや言語表現の処理における MagNet の優位性も裏付けています。この研究は、参照セグメンテーションの分野のさらなる発展に有益なインスピレーションを提供し、この分野でのさらなる進歩を促進することが期待されています。

チーム紹介
この論文は清華大学オートメーション学科からのものです ( https://www.au.tsinghua.edu.cn) およびボッシュ中央研究所 (https://www.bosch.com/research/)。論文の最初の著者の一人である Zhuang Rongxian 氏は、清華大学の博士課程の学生であり、ボッシュ中央研究所のインターンです。プロジェクトリーダーは、ボッシュ中央研究所の上級研究開発科学者である Qiu Xuchong 博士です。著者は清華大学オートメーション学科の黄高教授です。

以上がCVPR 2024 | 複雑なシーンと言語表現の処理が得意な清華&ボッシュは、新しいインスタンス セグメンテーション ネットワーク アーキテクチャを提案しました MagNetの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

ControlNet の作者がまたヒット作を出しました!写真から絵画を生成し、2 日間で 1.4,000 個のスターを獲得する全プロセス ControlNet の作者がまたヒット作を出しました!写真から絵画を生成し、2 日間で 1.4,000 個のスターを獲得する全プロセス Jul 17, 2024 am 01:56 AM

これも Tusheng のビデオですが、PaintsUndo は別の道を歩んでいます。 ControlNet 作者 LvminZhang が再び生き始めました!今回は絵画の分野を目指します。新しいプロジェクト PaintsUndo は、開始されて間もなく 1.4kstar を獲得しました (まだ異常なほど上昇しています)。プロジェクトアドレス: https://github.com/lllyasviel/Paints-UNDO このプロジェクトを通じて、ユーザーが静止画像を入力すると、PaintsUndo が線画から完成品までのペイントプロセス全体のビデオを自動的に生成するのに役立ちます。 。描画プロセス中の線の変化は驚くべきもので、最終的なビデオ結果は元の画像と非常によく似ています。完成した描画を見てみましょう。

RLHF から DPO、TDPO に至るまで、大規模なモデル アライメント アルゴリズムはすでに「トークンレベル」になっています RLHF から DPO、TDPO に至るまで、大規模なモデル アライメント アルゴリズムはすでに「トークンレベル」になっています Jun 24, 2024 pm 03:04 PM

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 人工知能の開発プロセスにおいて、大規模言語モデル (LLM) の制御とガイダンスは常に中心的な課題の 1 つであり、これらのモデルが両方とも確実に機能することを目指しています。強力かつ安全に人類社会に貢献します。初期の取り組みは人間のフィードバックによる強化学習手法に焦点を当てていました (RL

オープンソース AI ソフトウェア エンジニアのリストのトップに立つ UIUC のエージェントレス ソリューションは、SWE ベンチの実際のプログラミングの問題を簡単に解決します オープンソース AI ソフトウェア エンジニアのリストのトップに立つ UIUC のエージェントレス ソリューションは、SWE ベンチの実際のプログラミングの問題を簡単に解決します Jul 17, 2024 pm 10:02 PM

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com この論文の著者は全員、イリノイ大学アーバナ シャンペーン校 (UIUC) の Zhang Lingming 教師のチームのメンバーです。博士課程4年、研究者

OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる Jul 19, 2024 am 01:29 AM

AIモデルによって与えられた答えがまったく理解できない場合、あなたはそれをあえて使用しますか?機械学習システムがより重要な分野で使用されるにつれて、なぜその出力を信頼できるのか、またどのような場合に信頼してはいけないのかを実証することがますます重要になっています。複雑なシステムの出力に対する信頼を得る方法の 1 つは、人間または他の信頼できるシステムが読み取れる、つまり、考えられるエラーが発生する可能性がある点まで完全に理解できる、その出力の解釈を生成することをシステムに要求することです。見つかった。たとえば、司法制度に対する信頼を築くために、裁判所に対し、決定を説明し裏付ける明確で読みやすい書面による意見を提供することを求めています。大規模な言語モデルの場合も、同様のアプローチを採用できます。ただし、このアプローチを採用する場合は、言語モデルが

リーマン予想の大きな進歩!陶哲軒氏はMITとオックスフォードの新しい論文を強く推薦し、37歳のフィールズ賞受賞者も参加した リーマン予想の大きな進歩!陶哲軒氏はMITとオックスフォードの新しい論文を強く推薦し、37歳のフィールズ賞受賞者も参加した Aug 05, 2024 pm 03:32 PM

最近、2000年代の7大問題の一つとして知られるリーマン予想が新たなブレークスルーを達成した。リーマン予想は、数学における非常に重要な未解決の問題であり、素数の分布の正確な性質に関連しています (素数とは、1 とそれ自身でのみ割り切れる数であり、整数論において基本的な役割を果たします)。今日の数学文献には、リーマン予想 (またはその一般化された形式) の確立に基づいた 1,000 を超える数学的命題があります。言い換えれば、リーマン予想とその一般化された形式が証明されれば、これらの 1,000 を超える命題が定理として確立され、数学の分野に重大な影響を与えることになります。これらの命題の一部も有効性を失います。 MIT数学教授ラリー・ガスとオックスフォード大学から新たな進歩がもたらされる

公理的トレーニングにより、LLM は因果推論を学習できます。6,700 万個のパラメータ モデルは、1 兆個のパラメータ レベル GPT-4 に匹敵します。 公理的トレーニングにより、LLM は因果推論を学習できます。6,700 万個のパラメータ モデルは、1 兆個のパラメータ レベル GPT-4 に匹敵します。 Jul 17, 2024 am 10:14 AM

LLM に因果連鎖を示すと、LLM は公理を学習します。 AI はすでに数学者や科学者の研究を支援しています。たとえば、有名な数学者のテレンス タオは、GPT などの AI ツールを活用した研究や探索の経験を繰り返し共有しています。 AI がこれらの分野で競争するには、強力で信頼性の高い因果推論能力が不可欠です。この記事で紹介する研究では、小さなグラフでの因果的推移性公理の実証でトレーニングされた Transformer モデルが、大きなグラフでの推移性公理に一般化できることがわかりました。言い換えれば、Transformer が単純な因果推論の実行を学習すると、より複雑な因果推論に使用できる可能性があります。チームが提案した公理的トレーニング フレームワークは、デモンストレーションのみで受動的データに基づいて因果推論を学習するための新しいパラダイムです。

arXiv 論文は「弾幕」として投稿可能、スタンフォード alphaXiv ディスカッション プラットフォームはオンライン、LeCun は気に入っています arXiv 論文は「弾幕」として投稿可能、スタンフォード alphaXiv ディスカッション プラットフォームはオンライン、LeCun は気に入っています Aug 01, 2024 pm 05:18 PM

乾杯!紙面でのディスカッションが言葉だけになると、どんな感じになるでしょうか?最近、スタンフォード大学の学生が、arXiv 論文のオープン ディスカッション フォーラムである alphaXiv を作成しました。このフォーラムでは、arXiv 論文に直接質問やコメントを投稿できます。 Web サイトのリンク: https://alphaxiv.org/ 実際、URL の arXiv を alphaXiv に変更するだけで、alphaXiv フォーラムの対応する論文を直接開くことができます。この Web サイトにアクセスする必要はありません。その中の段落を正確に見つけることができます。論文、文: 右側のディスカッション エリアでは、ユーザーは論文のアイデアや詳細について著者に尋ねる質問を投稿できます。たとえば、次のような論文の内容についてコメントすることもできます。

無制限のビデオ生成、計画と意思決定、次のトークン予測とフルシーケンス拡散の拡散強制統合 無制限のビデオ生成、計画と意思決定、次のトークン予測とフルシーケンス拡散の拡散強制統合 Jul 23, 2024 pm 02:05 PM

現在、次のトークン予測パラダイムを使用した自己回帰大規模言語モデルが世界中で普及していると同時に、インターネット上の多数の合成画像やビデオがすでに拡散モデルの威力を示しています。最近、MITCSAIL の研究チーム (そのうちの 1 人は MIT の博士課程学生、Chen Boyuan です) は、全系列拡散モデルとネクスト トークン モデルの強力な機能を統合することに成功し、トレーニングおよびサンプリング パラダイムである拡散強制 (DF) を提案しました。 )。論文タイトル:DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion 論文アドレス:https:/

See all articles