7BモデルはGPT4-Vを超える!香港科技大学などが「グラフ推論質疑応答」データセットを公開GITQA:ビジュアルグラフで推論能力を向上
グラフ ニューラル ネットワーク (GNN) は、推論のためにグラフの構造情報を活用することに優れていますが、多くの場合、最適なパフォーマンスを達成するにはドメイン固有の調整が必要となるため、さまざまなタスクにわたって一般化する能力が制限されます。
大規模言語モデル (LLM) は、グラフ推論のための強力なクロスタスク機能と一般化機能を備えていますが、多くの場合、特定のタスクでは専用のグラフ ニューラル ネットワーク モデルほどのパフォーマンスは得られません。
グラフ推論に関する現在の研究では、従来のグラフ ニューラル ネットワークであれ、大規模な言語モデルに基づくグラフ推論手法であれ、グラフ推論における視覚情報の重要性が無視されることがよくあります。
しかし、人間は視覚機能を使用して、グラフ内にリングがあるかどうかの判断など、グラフのタスクを効率的かつ正確に完了します。
したがって、グラフ推論における視覚的な形式のグラフ情報の役割を調査することは非常に重要です。
より具体的には、グラフ (Graph) を画像 (Image) として描画することで、モデルに特別な推論能力を与えることができるでしょうか?これらの画像 (ビジュアル グラフと呼ばれる) は、他のモダリティに基づく既存のグラフ推論モデルを強化できますか?
これらの質問に答えるために、香港科技大学と南方科技大学の研究チームは、ビジュアル グラフ、GITQA、および使用されたオープン ソースを含む最初の推論質問と回答データ セットを構築しました。 GPT-4 ターボ、GPT-4V などのモデルや、Vicuna や LLaVA などのクローズドソース モデルで広範な実験が行われ、グラフ推論におけるビジュアル グラフの役割と、テキスト モダリティとの相互強化が確認されました。
#写真
論文アドレス: https://arxiv.org/abs/2402.02130
プロジェクト ホームページ: https://v-graph.github.io/
GITQA テスト ベンチマークでは、LLaVA-7B/13B に基づいて微調整されていますGPT-4Vを超えるグラフ推論性能を発揮するマルチモーダルモデルGITA-7B/13B。
GITQA マルチモーダル グラフ推論の質問と回答のデータセット研究チームは、GITQA データ セットとそれに対応するテスト ベンチマークを確立しました。GITQA データセットには 423,000 を超える質問と回答のインスタンスが含まれています、各インスタンスには、対応するグラフ構造、テキスト、視覚情報と、対応する質問と回答のペアが含まれます。
GITQA データ セットには、GITQA-Base と GITQA-Aug の 2 つのバージョンが含まれています。そのうちの GITQA-Base には、単一スタイルのビジュアル イメージのみが含まれています。
GITQA-Aug はさらに機能が充実しており、レイアウト、ポイントの形状、エッジの幅、ポイントのスタイルなどの変更を含む、ビジュアル マップ上のさまざまなデータ拡張を実行して、より多様な視覚表現を提供します。
図
図 1 に示すように、GITQA テスト ベンチマークには 8 つの代表的なグラフ推論タスクが含まれています。グラフ内の 2 点が接続されているかどうか)、Cycle (グラフ内にサイクルがあるかどうかを判断する)、TS (グラフの位相順序を見つけるため)、SP (グラフ内の 2 点間の最短経路を見つけるため) 、MaxFlow (グラフ内の 2 点間の最大フローを計算します))、BGM (2 部グラフの最大マッチングを計算します)、HP (グラフ内のハミルトニアン パスを見つけます)、および GNN (GNN のメッセージ パッシングをシミュレートします)。
写真
各タスクに対応するデータセットは、グラフ構造の複雑さに応じてさまざまな難易度に分割されています。のサブセット (関連する統計を表 1 に示します)。
実験と結果実験 1: さまざまなモーダル グラフ情報に基づくモデルのグラフ推論機能の比較
研究チームは、GITQA-Base データセット上のさまざまなモーダル グラフ入力タイプ (テキストのみ (T-Only)、ビジョンのみ (V-Only)、テキストとビジョン (V T) を含む) に基づいて、一般的なクローズドソース メソッドを評価しました。オープンソースの大規模言語モデル (GPT-4 ターボや Vicuna-7B/13B など) および大規模なマルチモーダル言語モデル (GPT-4V や LLaVA-7B/13B など) のパフォーマンス。写真2に示すように。
写真
具体的には、クローズドソース モデル GPT-4 および GPT-4V はゼロショット推論を実行しますが、オープンソース モデルの Vicuna と LLaVA は、バックボーン モデルのパラメーターを変更せずに微調整され、トレーニング用の Projector と LoRA 部分のみが微調整されました (特に、ビジュアル テキスト デュアルモーダル微調整後の LLaVA モデルは GITA と名付けられました)研究者による)。
表 2 は、8 つのグラフ推論タスクすべてのテスト結果をまとめたものです。
画像
ビジュアル モードとテキスト モード
表 2 からわかるように、サイクルと BGM オンのタスクで、視覚的モダリティはテキスト モダリティよりも優れたパフォーマンスを示しましたが、他の 5 つのタスクではテキスト モダリティよりも劣っていました。これは、ビジョンとテキストがそれぞれ、特定のタイプのグラフ推論タスクを処理する際に利点があることを明らかにしています。ビジュアルモダリティとテキストモダリティの相互強化
クローズドソースモデルの場合、GPT-4V (V T) は、GPT-4 Turbo (T のみ) や GPT-4V (V -のみ)。
オープンソース モデル (7B、13B) についても、同様に、二峰性データを使用してトレーニングされた GITA モデルが平均して最高のパフォーマンスを示しました。これらの観察により、視覚情報とテキスト情報を同時に使用すると、モデルのグラフ推論機能が強化され、単一モーダル モデルよりも優れたパフォーマンスが達成できることが検証されます。
より具体的には、GITA-7B (V T) は、ほぼすべてのタスクにおいて LLaVA-7B (V のみ) および Vicuna-7B (T のみ) よりも優れています。クローズドソース モデルの場合、バイモダリティを使用すると、8 つのタスクのうち 5 つで最高の精度が達成されました。微調整された LLaVA モデルは GPT-4V を超える可能性があります
表 2 と図 3 に示すように、GITA-7B および GITA-13B モデル、つまりデュアルモーダル後の LLaVA-7B/13B モデル微調整、ショー GPT-4V と比較して 13% 以上の大幅なパフォーマンス向上。この大幅な改善は、微調整された GITA モデルが GITQA データセットから優れたグラフ推論機能を効果的に学習できることを示しています。
図
実験 2: グラフ タスクに対する難易度の影響
表 3 は、さまざまな条件におけるモデルのパフォーマンスをさらに示しています。難易度テストの精度。GNN タスクはすべてのモデルにとって難しすぎるため省略されました)。
ビジュアル モダリティのみを使用したパフォーマンスはテキスト モダリティを上回り、すべての難易度でサイクル タスクと BGM タスクで両方のモダリティを使用した場合と同等でした。
ただし、他のタスクでは、難易度が簡単から中、または難しいと増加すると、視覚モダリティのみを使用したモデルのパフォーマンスが大幅に低下します。
写真
同様に、難易度が高くなると、テキスト モダリティのみを使用するモデルとビジュアル テキスト モダリティを使用するモデルも、これらのタスクでより良いパフォーマンスを発揮します。パフォーマンスが大幅に低下します。
接続タスクの場合、GITA-7B (ビジュアル テキスト) と GITA-13B (ビジュアル テキスト) は、3 つの課題レベルすべてで同等のパフォーマンスを示します。
ただし、難易度が上がるとパフォーマンスが低下するため、この一貫したパターンは GPT-4V (ビジュアル テキスト) では観察されません。
実験 3: 視覚的なグラフ強化戦略とスタイル設定
研究チームは、特別なデータ強化の効果についても調査しました。モデルを微調整する際の戦略の説明。
研究者らは、さまざまな拡張戦略に基づいて、GITQA-Aug データ セットを 4 つの拡張サブセット (レイアウト拡張データ セット、ノード形状拡張データ セット、およびエッジ幅拡張データ セット) に分割しました。ノード スタイルの拡張データセット。
写真
研究者らは、視覚的なマップ情報のみを使用して、LLaVA-7B モデルの 4 つの強化サブセットすべてを実行しました。 -tuning の推論パフォーマンスとデータ拡張前の推論パフォーマンスの比較を表 4 に示します。
レイアウト強化されたデータセット上の困難なタスクに対するモデルの推論能力が劇的に向上していることがはっきりとわかります (SP は 64.8% 増加、HP は 69.63% 増加)。
他の 3 つのデータ拡張戦略は、実際にはパフォーマンスの低下につながります。
具体的には、このモデルはレイアウト拡張セットで優れた結果を達成しており、これは GITQA-Base セットよりも 11% 以上高いです。比較すると、他の拡張セットの 8 つのタスクの平均結果は、基本セットよりも約 5% 低くなります。
写真
これらの発見は、レイアウトベースのデータ拡張がグラフ推論により効果的な視覚的視点を提供することを示唆しています。さらに、研究者らは、各強化戦略の下で同じグループ内の各スタイルに基づくビジュアル グラフ推論のパフォーマンスもテストしました。表 5 に示すように、モデルには明らかなスタイルの優先順位がないことが示されています。
以上が7BモデルはGPT4-Vを超える!香港科技大学などが「グラフ推論質疑応答」データセットを公開GITQA:ビジュアルグラフで推論能力を向上の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。
