ホームページ テクノロジー周辺機器 AI 李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

Aug 07, 2024 pm 05:06 PM
業界

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した
AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この記事の筆頭著者は、スタンフォード大学の大学院生である蔡文暁で、以前は東南大学で学士号を取得していました。 1年生の得点。彼の研究対象には、マルチモーダルな大規模モデルと身体化されたインテリジェンスが含まれます。この研究は、上海交通大学訪問と北京知源人工知能研究所でのインターンシップ中に完了しました。彼の指導教員は、この記事の責任著者である趙博教授でした。

以前、リー・フェイフェイ先生は空間インテリジェンスの概念を提案し、それに応えて、上海交通大学、スタンフォード大学、知源大学、北京大学、オックスフォード大学、東達大学の研究者らが大規模空間モデルSpatialBotを提案しました。また、トレーニング データ SpatialQA とテスト リスト SpatialBench を提案し、マルチモーダルな大規模モデルが一般シナリオと具体化されたシナリオで深さと空間を理解できるようにしようとしました。

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

  • 論文タイトル: SpatialBot: Precise Depth Understanding with Vision Language Models
  • 論文リンク: https://arxiv.org/abs/2406.13642
  • プロジェクトホームページ: https://github. com/BAAI-DCAI/SpatialBot

身体化された知能のピックアンドプレイスタスクでは、機械の爪がターゲットオブジェクトに触れたかどうかを判断する必要があります。遭遇したら爪を閉じて掴むことができます。ただし、この Berkerly UR5 デモンストレーション データセット シーンでは、GPT-4o や人間ですら、単一の RGB 画像から機械の爪がターゲット オブジェクトに触れたかどうかを判断できません。たとえば、深度情報の助けを借りて、深度マップを直接取得できます。もしそうなら、GPT-4o は深度マップを理解できないため、判断できません。

SpatialBot は、RGB 深度の理解を通じて機械の爪と対象オブジェクトの深度値を正確に取得することができ、それによって空間概念の理解を生み出します。

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

具体化されたシーンの SpatialBot デモ:

1. 人間 (カメラ) の視点から、右側のティーカップを掴みます 李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した 2. 中央のティーカップを掴みます 李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した
身体化された知性への必要な道として、大きなモデルに空間を理解させるにはどうすればよいでしょうか?

点群は比較的高価であり、双眼カメラは使用中に頻繁にキャリブレーションを行う必要があります。対照的に、深度カメラは手頃な価格で広く使用されています。一般的なシナリオでは、そのようなハードウェア機器がなくても、大規模な教師なしトレーニング深度推定モデルはすでに比較的正確な深度情報を提供できます。したがって、著者らは、空間的に大きなモデルへの入力として RGBD を使用することを提案しています。

現在の技術的なルートの問題点は何ですか?

  1. 既存のモデルは深度マップ入力を直接理解できません。たとえば、画像エンコーダ CLIP/SigLIP は、深度マップをまったく参照せずに RGB 画像でトレーニングされます。
  2. 既存の大規模モデル データセットのほとんどは、RGB のみを使用して分析し、回答することができます。したがって、既存のデータが単に RGBD 入力に変更された場合、モデルは知識を深度マップに積極的にインデックス付けしません。モデルが深度マップを理解し、深度情報を使用できるようにするには、特別に設計されたタスクと QA が必要です。

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

                                  三个层次的 SpatialQA,逐步引导模型理解深度图、使用深度信息
 
如何引导模型理解和使用深度信息,理解空间?

作者提出具有三个层次的 SpatialQA 数据集。

  1. 在 low level 引导模型理解深度图,引导从深度图直接获取信息;
  2. 在 middle level 让模型将 depth 与 RGB 对齐;
  3. 在 high level 设计多个深度相关任务,标注了 50k 的数据,让模型在理解深度图的基础上,使用深度信息完成任务。任务包括:空间位置关系,物体大小,物体接触与否,机器人场景理解等。

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

                                     示例对话

SpatialBot 包含什么?

1. 借鉴 agent 中的思想,SpatialBot 在需要时,可以通过 API 获取准确的深度信息。在深度信息获取、远近关系比较的任务上,可以达到 99%+ 的准确率。
2. 针对空间理解任务,作者公布了 SpatialBench 榜单。通过精心设计和标注 QA,测试模型深度理解能力。SpatialBot 在榜单上展示了和 GPT-4o 接近的能力。

模型如何理解深度图?

1. 输入模型的深度图:为了兼顾室内室外任务,需要统一的深度图编码方式。室内的抓取、导航任务可能需要毫米级的精确度,室外的场景不需要这么精准,却可能需要 100 米以上的深度值范围。传统视觉任务中会用 Ordinal Encoding 来编码,但是 ordinal 的值无法进行加减运算。为了尽可能保留所有深度信息,SpatialBot 直接使用以毫米为单位的 metric depth,范围为 1mm~131m,使用 uint24 或三通道的 uint8 来保留这些值。
2. 为了精准的获取深度信息,借鉴 agents 中的思想,SpatialBot 在认为有必要的时候,会以点的形式调用 DepthAPI,获取准确的深度值。若想获取物体的深度,SpatialBot 会先思考物体的 bounding box 是什么,然后用 bounding box 的中心点调用 API。
3. SpatialBot 使用物体的中心点、深度平均、最大和最小四个值来描述深度。

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

                                SpatialBot 和 DepthAPI 架构

SpatialBot 在通用场景和具身场景效果如何?

1. SpatialBot 基于 3B 到 8B 的多个 base LLM。通过在 SpatialQA 中学习空间知识,SpatialBot 在常用 MLLM 数据集 (MME、MMBench 等) 上同样展示了显著的效果提升。
2. 在 Open X-Embodiment、作者收集的机器人抓取数据等具身任务上,SpatialBot 同样展示了惊人效果。

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

                                SpatialBot 通用场景对比实验

数据如何标注?

精心设计了关于空间理解的问题,比如深度、远近关系、上下左右前后位置关系、大小关系,并且包含了具身中的重要问题,比如两个物体是否接触。

在测试集 SpatialBench 中,首先人工思考问题、选项和答案。为了扩大测试集大小,也使用 GPT 以同样的流程标注。

训练集 SpatialQA 包含三方面: 

  1. 直接理解深度图,让模型看深度图,分析深度的分布,猜测其中可能包含的物体; 
  2. 空间关系理解和推理;
  3. 机器人场景理解:描述 Open X-Embodiment 和本文收集的机器人数据中的场景、包含的物体、可能的任务,并人工标注物体、机器人的 bounding box。

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

                                     空间关系理解

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

                                   Open X-Embodiment 机器人场景理解

李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案した

深度图理解。在使用 GPT 标注这部分数据时,GPT 会先看到深度图,描述深度图、推理其中可能包含的场景和物体,然后看到 RGB 图,筛选出正确的描述和推理。

以上が李飛飛の「空間知能」の後、上海交通大学、知源大学、北京大学などが大規模空間モデルSpatialBotを提案したの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

分散型人工知能カンファレンス DAI 2024 論文募集: エージェント デイ、強化学習の父であるリチャード サットン氏が出席します。 Yan Shuicheng、Sergey Levine、DeepMind の科学者が基調講演を行います 分散型人工知能カンファレンス DAI 2024 論文募集: エージェント デイ、強化学習の父であるリチャード サットン氏が出席します。 Yan Shuicheng、Sergey Levine、DeepMind の科学者が基調講演を行います Aug 22, 2024 pm 08:02 PM

会議の紹介 科学技術の急速な発展に伴い、人工知能は社会の進歩を促進する重要な力となっています。この時代に、分散型人工知能 (DAI) の革新と応用を目撃し、参加できることは幸運です。分散型人工知能は人工知能分野の重要な分野であり、近年ますます注目を集めています。大規模言語モデル (LLM) に基づくエージェントは、大規模モデルの強力な言語理解機能と生成機能を組み合わせることで、自然言語対話、知識推論、タスク計画などにおいて大きな可能性を示しました。 AIAgent は大きな言語モデルを引き継ぎ、現在の AI 界隈で話題になっています。アウ

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

See all articles