未来への旅、初の多視点予測+計画自動運転世界モデルが登場
最近、ワールドモデルのコンセプトが熱狂を引き起こしていますが、自動運転の分野では、どうやって遠くから「火」を眺めることができますか。中国科学院自動化研究所のチームは、エンドツーエンドの自動運転計画の安全性を強化することを目的として、Drive-WMと呼ばれる新しいマルチビュー世界モデルを初めて提案した。
ウェブサイト: https://drive-wm.github.io
論文の URL: https://drive-wm.github.io ://arxiv.org/abs/2311.17918
初のマルチビュー予測および計画自動運転世界モデル
CVPR2023 自動運転セミナーではテスラとウェイブの二大テクノロジー大手がブラックテクノロジーを披露し、自動運転の分野では「生成世界モデル」と呼ばれる新しい概念が普及した。 Wayve は GAIA-1 生成 AI モデルもリリースし、その驚くべきビデオ シーン生成機能を実証しました。最近、中国科学院自動化研究所の研究者らも、新しい自動運転世界モデル - Drive-WM を提案しました。これは、マルチビュー予測世界モデルを初めて実現し、現在の主流エンドとシームレスに統合されています。までの自動運転プランナーです。
Drive-WM は、拡散モデルの強力な生成機能を活用して、リアルなビデオ シーンを生成します。
あなたが運転していて、車載システムがあなたの運転習慣や道路状況に基づいて将来の展開を予測し、対応する視覚的なフィードバックを生成して軌道ルートの選択をガイドしていると想像してください。この未来を予見する能力とプランナーを組み合わせることで、自動運転の安全性が大幅に向上します。
#多視点の世界モデルに基づいた予測と計画。
Drive-WM モデルは、世界モデルとエンドツーエンドの計画を初めて組み合わせ、エンドツーエンドの自動運転開発の新たな章を開きます。各タイム ステップで、プランナーはワールド モデルを使用して考えられる将来のシナリオを予測し、画像報酬関数を使用してそれらを完全に評価できます。
最適な見積り方法と拡張計画ツリー技術を採用することで、より効果的かつ安全な計画を実現できます
Drive-WM は、革新的な研究を通じてエンドツーエンドの計画におけるワールド モデルの 2 つのアプリケーションを調査します
1. OOD に直面した場合のワールド モデルの使用を実証します。シーンの堅牢性。比較実験を通じて、著者は、OOD 状況に直面した場合、現在のエンドツーエンド プランナーのパフォーマンスが理想的ではないことを発見しました。
著者は次の図を示していますが、わずかな横方向のオフセットが初期位置に乱れると、現在のエンドツーエンドの計画作成者は合理的な計画ルートを出力することが困難になります。
エンドツーエンドの計画担当者は、OOD 状況に直面した場合、合理的な計画ルートを出力することが困難になります。
Drive-WM の強力な生成機能は、OOD 問題を解決するための新しいアイデアを提供します。著者は、生成されたビデオを使用してプランナーを微調整し、OOD データから学習し、そのようなシナリオに直面したときにプランナーのパフォーマンスを向上させることができます。エンドツーエンドの計画における将来のシナリオ評価の役割の強化
マルチビュー ビデオ生成モデルの構築方法
マルチビュー ビデオ生成の時空間的一貫性は、常に困難な問題です。 Drive-WM は、テンポラル レイヤー コーディングを導入することでビデオ生成の機能を拡張し、ビュー分解モデリングを通じてマルチビュー ビデオの生成を実現します。このビュー分解の生成方法により、ビュー間の一貫性が大幅に向上します
#Drive-WM の全体的なモデル設計
高品質な動画生成と制御性
Drive-WM は、優れた制御性を備えた高品質な多視点動画生成を実現します。テキスト、シーン レイアウト、モーション情報を通じてマルチビュー ビデオの生成を制御するためのさまざまな制御オプションが提供され、将来のニューラル シミュレーターに新たな可能性も提供されます
たとえば、テキストを使用して天気や照明を変更します:
##例: 歩行者の生成と前景の編集:
#速度と方向の制御方法を使用する:
方向転換などのまれなイベントを生成する交差点を曲がったり、脇の草むらに突っ込んだりした場合
##
結論
Drive-WM は、強力なマルチビュー ビデオ生成機能を実証しただけでなく、世界モデルと端末 エンドツーエンドの駆動モデルを組み合わせるには大きな可能性があります。将来的には、世界のモデルがより安全、より安定、より信頼性の高いエンドツーエンドの自動運転システムの実現に役立つと私たちは信じています。
以上が未来への旅、初の多視点予測+計画自動運転世界モデルが登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中国語版
中国語版、とても使いやすい
ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
7502
15
1377
52
78
11
19
54
なぜ自動運転ではガウス スプラッティングが非常に人気があるのに、NeRF は放棄され始めているのでしょうか?
Jan 17, 2024 pm 02:57 PM
上記と著者の個人的な理解 3 次元ガウシアンプラッティング (3DGS) は、近年、明示的な放射線フィールドとコンピューター グラフィックスの分野で出現した革新的なテクノロジーです。この革新的な方法は、数百万の 3D ガウスを使用することを特徴とし、主に暗黙的な座標ベースのモデルを使用して空間座標をピクセル値にマッピングする神経放射線場 (NeRF) 方法とは大きく異なります。明示的なシーン表現と微分可能なレンダリング アルゴリズムにより、3DGS はリアルタイム レンダリング機能を保証するだけでなく、前例のないレベルの制御とシーン編集も導入します。これにより、3DGS は、次世代の 3D 再構築と表現にとって大きな変革をもたらす可能性のあるものとして位置付けられます。この目的を達成するために、私たちは 3DGS 分野における最新の開発と懸念について初めて体系的な概要を提供します。
自動運転シナリオにおけるロングテール問題を解決するにはどうすればよいでしょうか?
Jun 02, 2024 pm 02:44 PM
昨日の面接で、ロングテール関連の質問をしたかと聞かれたので、簡単にまとめてみようと思いました。自動運転のロングテール問題とは、自動運転車におけるエッジケース、つまり発生確率が低い考えられるシナリオを指します。認識されているロングテール問題は、現在、単一車両のインテリジェント自動運転車の運用設計領域を制限している主な理由の 1 つです。自動運転の基礎となるアーキテクチャとほとんどの技術的問題は解決されており、残りの 5% のロングテール問題が徐々に自動運転の開発を制限する鍵となってきています。これらの問題には、さまざまな断片的なシナリオ、極端な状況、予測不可能な人間の行動が含まれます。自動運転におけるエッジ シナリオの「ロング テール」とは、自動運転車 (AV) におけるエッジ ケースを指します。エッジ ケースは、発生確率が低い可能性のあるシナリオです。これらの珍しい出来事
カメラかライダーを選択しますか?堅牢な 3D オブジェクト検出の実現に関する最近のレビュー
Jan 26, 2024 am 11:18 AM
0.前面に書かれています&& 自動運転システムは、さまざまなセンサー (カメラ、ライダー、レーダーなど) を使用して周囲の環境を認識し、アルゴリズムとモデルを使用することにより、高度な知覚、意思決定、および制御テクノロジーに依存しているという個人的な理解リアルタイムの分析と意思決定に。これにより、車両は道路標識の認識、他の車両の検出と追跡、歩行者の行動の予測などを行うことで、安全な運行と複雑な交通環境への適応が可能となり、現在広く注目を集めており、将来の交通分野における重要な開発分野と考えられています。 。 1つ。しかし、自動運転を難しくしているのは、周囲で何が起こっているかを車に理解させる方法を見つけることです。これには、自動運転システムの 3 次元物体検出アルゴリズムが、周囲環境にある物体 (位置を含む) を正確に認識し、記述することができる必要があります。
ORB-SLAM3を超えて！ SL-SLAM: 低照度、重度のジッター、弱いテクスチャのシーンはすべて処理されます。
May 30, 2024 am 09:35 AM
以前に書きましたが、今日は、深層学習テクノロジーが複雑な環境におけるビジョンベースの SLAM (同時ローカリゼーションとマッピング) のパフォーマンスをどのように向上させることができるかについて説明します。ここでは、深部特徴抽出と深度マッチング手法を組み合わせることで、低照度条件、動的照明、テクスチャの弱い領域、激しいセックスなどの困難なシナリオでの適応を改善するように設計された多用途のハイブリッド ビジュアル SLAM システムを紹介します。当社のシステムは、拡張単眼、ステレオ、単眼慣性、ステレオ慣性構成を含む複数のモードをサポートしています。さらに、他の研究にインスピレーションを与えるために、ビジュアル SLAM と深層学習手法を組み合わせる方法も分析します。公開データセットと自己サンプリングデータに関する広範な実験を通じて、測位精度と追跡堅牢性の点で SL-SLAM の優位性を実証しました。
座標系の変換を本当にマスターしましたか?自動運転と切り離せないマルチセンサーの問題
Oct 12, 2023 am 11:21 AM
最初のパイロットおよび重要な記事では、主に自動運転技術で一般的に使用されるいくつかの座標系と、それらの間の相関と変換を完了し、最終的に統合環境モデルを構築する方法を紹介します。ここでの焦点は、車両からカメラの剛体への変換 (外部パラメータ)、カメラから画像への変換 (内部パラメータ)、および画像からピクセル単位への変換を理解することです。 3D から 2D への変換には、対応する歪み、変換などが発生します。要点：車両座標系とカメラ本体座標系を平面座標系とピクセル座標系に書き換える必要がある 難易度：画像の歪みを考慮する必要がある 歪み補正と歪み付加の両方を画面上で補正する2. はじめに ビジョンシステムには、ピクセル平面座標系 (u, v)、画像座標系 (x, y)、カメラ座標系 ()、世界座標系 () の合計 4 つの座標系があります。それぞれの座標系には関係性があり、
自動運転と軌道予測についてはこの記事を読めば十分です！
Feb 28, 2024 pm 07:20 PM
自動運転では軌道予測が重要な役割を果たしており、自動運転軌道予測とは、車両の走行過程におけるさまざまなデータを分析し、将来の車両の走行軌跡を予測することを指します。自動運転のコアモジュールとして、軌道予測の品質は下流の計画制御にとって非常に重要です。軌道予測タスクには豊富な技術スタックがあり、自動運転の動的/静的知覚、高精度地図、車線境界線、ニューラル ネットワーク アーキテクチャ (CNN&GNN&Transformer) スキルなどに精通している必要があります。始めるのは非常に困難です。多くのファンは、できるだけ早く軌道予測を始めて、落とし穴を避けたいと考えています。今日は、軌道予測に関するよくある問題と入門的な学習方法を取り上げます。関連知識の紹介 1. プレビュー用紙は整っていますか? A: まずアンケートを見てください。
SIMPL: 自動運転向けのシンプルで効率的なマルチエージェント動作予測ベンチマーク
Feb 20, 2024 am 11:48 AM
原題: SIMPL: ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving 論文リンク: https://arxiv.org/pdf/2402.02519.pdf コードリンク: https://github.com/HKUST-Aerial-Robotics/SIMPL 著者単位: 香港科学大学DJI 論文のアイデア: この論文は、自動運転車向けのシンプルで効率的な動作予測ベースライン (SIMPL) を提案しています。従来のエージェントセントとの比較
nuScenes の最新 SOTA | SparseAD: スパース クエリは効率的なエンドツーエンドの自動運転に役立ちます。
Apr 17, 2024 pm 06:22 PM
先頭と開始点に書かれている エンドツーエンドのパラダイムでは、統一されたフレームワークを使用して自動運転システムのマルチタスクを実現します。このパラダイムの単純さと明確さにも関わらず、サブタスクにおけるエンドツーエンドの自動運転手法のパフォーマンスは、依然としてシングルタスク手法に比べてはるかに遅れています。同時に、以前のエンドツーエンド手法で広く使用されていた高密度鳥瞰図 (BEV) 機能により、より多くのモダリティやタスクに拡張することが困難になります。ここでは、スパース検索中心のエンドツーエンド自動運転パラダイム (SparseAD) が提案されています。このパラダイムでは、スパース検索は、高密度の BEV 表現を使用せずに、空間、時間、タスクを含む運転シナリオ全体を完全に表します。具体的には、統合されたスパース アーキテクチャが、検出、追跡、オンライン マッピングなどのタスク認識のために設計されています。さらに、重い
