MotionLM: マルチエージェント動作予測のための言語モデリング技術
この記事は自動運転ハート公式アカウントの許可を得て転載しておりますので、転載については出典元にご連絡ください。
原題: MotionLM: Multi-Agent Motion Forecasting as Language Modeling
論文リンク: https://arxiv.org/pdf/2309.16534.pdf
著者の所属: Waymo
カンファレンス: ICCV 2023
ペーパーアイデア:
自動運転車の安全計画のため、確実に未来を予測する道路管理者の行動は非常に重要です。この研究では、連続的な軌跡を離散的なモーション トークンのシーケンスとして表現し、マルチエージェントのモーション予測を言語モデリング タスクとして扱います。私たちが提案するモデル MotionLM にはいくつかの利点があります。 まず、マルチモーダル分布を最適に学習するためにアンカー ポイントや明示的な潜在変数を使用する必要がありません。代わりに、シーケンス トークンの平均ログ確率を最大化するという標準言語モデリングの目標を活用します。第 2 に、私たちのアプローチは、個々のエージェントの軌跡の生成がインタラクション スコアリングの後に行われるポストホック インタラクション ヒューリスティックを回避します。対照的に、MotionLM は、単一の自己回帰デコード プロセスでインタラクティブ エージェントの将来の結合分布を生成します。さらに、モデルの逐次分解により、時間的な因果関係の推論が可能になります。私たちが提案した手法は、Waymo Open Motion データセット上で新たな最先端のパフォーマンスを達成し、インタラクティブ チャレンジ リーダーボードで 1 位にランクされました
主な貢献:
こちらでこの記事では、言語モデリング タスクとしてのマルチエージェントの動作予測について説明します。因果言語モデリング損失でトレーニングされた離散運動トークンをデコードするための時間的因果デコーダを導入します。
この論文では、モデル内のサンプリングと単純なロールアウト集計スキームを組み合わせて、関節軌道認識能力の重み付けパターンを改善します。 Waymo Open Motion Dataset インタラクション予測チャレンジでの実験を通じて、この新しい方法により、ランキング共同 mAP メトリクスが 6% 向上し、最先端のパフォーマンス レベルに達することが実証されました。
この記事のアプローチこの記事 大規模なアブレーション実験が実行され、その時間的因果関係の条件付き予測が分析されていますが、これは現在の関節予測モデルではほとんどサポートされていません。
ネットワーク設計:
このペーパーの目標は、以下を含むさまざまなダウンストリーム タスクに適用できる一般的な方法で、マルチエージェント インタラクションの分布をモデル化することです。最小予測、結合予測、および条件付き予測。この目標を達成するには、運転シーンの複数の形態を捉えることができる表現力豊かな生成フレームワークが必要です。さらに、ここでは時間依存性の節約を考慮します。つまり、モデルでは、推論は有向非巡回グラフに従い、各ノードの親ノードが時間的に早く、その子ノードが時間的に遅くなり、条件付き予測が因果関係に近くなります。なぜなら、それがなければ時間的因果関係への不従順につながる、ある種の偽りの相関関係を排除するからである。この論文では、時間的な依存関係を保存しないジョイント モデルでは、計画における重要な用途である実際のエージェントの応答を予測する能力が限られている可能性があることを観察しています。この目的を達成するために、この論文では、将来のデコーダの自己回帰分解を利用します。この分解では、エージェントのモーション トークンが、以前にサンプリングされたすべてのトークンに条件付きで依存し、軌跡が順番に導出されます。
図 1 。私たちのモデルは、一連のエージェントに対して一連の離散モーション トークンを自己回帰的に生成し、一貫したインタラクティブな軌道予測を生成します。
MotionLM のアーキテクチャである図 2 をご覧ください。
この記事では、まず、各モデリング エージェントに関連する異種シーンの特徴 (左) をエンコードします。形状 R,N,·,H のシーン埋め込み。このうち、R はロールアウトの数、N は共同モデル化されたエージェントの数、H は各埋め込みの次元です。推論プロセス中、サンプリングを並列化するために、本稿ではバッチ次元で埋め込みを R 回繰り返します。次に、軌跡デコーダは、複数のエージェントに対して時間的に因果的な方法で T 個の離散モーション トークンをロールアウトします (中央)。最後に、典型的なロールアウト パターンは、非最大抑制初期化を使用した K 平均法クラスターの単純な集約によって回復できます (右パネル)。
色のグラデーションは、t = 0 秒から t = 8 秒までの時間変化を表します。ジョイント モードは緑から青に遷移し、サブジョイント モードはオレンジから紫に最も高い確率で遷移します。 3 種類のインタラクションを観察しました。隣接する車線のエージェントは車線変更時間に応じて車線変更エージェントに道を譲ります (左)、歩行者は車両の進行に応じて追い越し車両の後ろを歩きます (中央)、方向転換車両は車線変更エージェントに道を譲ります。追い越す自転車に道を譲る (最も可能性の高いモード)、または自転車が近づく前に方向転換する (マイナー モード) (右側)
図 4 を参照してください。この図は、共同誘導 (左)、介入後の因果ベイジアン ネットワーク (中央)、および因果条件付け (右) の因果ベイジアン ネットワーク表現を示しています。
実線は時間相関における因果関係を表し、破線は時間相関を表します。因果関係のある情報の流れ。時間依存の制約のないモデルは、因果的条件付けをサポートしますが、時間的因果的条件付けはサポートしません。これは、エージェントの応答を予測しようとするときに問題になる可能性があります。 #########実験結果: ##################################### #
ArXiv. /abs/2309.16534
元のリンク: https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A
以上がMotionLM: マルチエージェント動作予測のための言語モデリング技術の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

FP8 以下の浮動小数点数値化精度は、もはや H100 の「特許」ではありません。 Lao Huang は誰もが INT8/INT4 を使用できるようにしたいと考え、Microsoft DeepSpeed チームは NVIDIA からの公式サポートなしで A100 上で FP6 の実行を開始しました。テスト結果は、A100 での新しい方式 TC-FPx の FP6 量子化が INT4 に近いか、場合によってはそれよりも高速であり、後者よりも精度が高いことを示しています。これに加えて、エンドツーエンドの大規模モデルのサポートもあり、オープンソース化され、DeepSpeed などの深層学習推論フレームワークに統合されています。この結果は、大規模モデルの高速化にも即座に影響します。このフレームワークでは、シングル カードを使用して Llama を実行すると、スループットはデュアル カードのスループットの 2.65 倍になります。 1つ
