エンドツーエンドおよび次世代の自動運転システムと、エンドツーエンドの自動運転に関する誤解について話しましょう。
先月、いくつかのよく知られた理由により、私は業界のさまざまな教師やクラスメートと非常に集中的な交流をしてきました。この交換で避けられない話題は、当然のことながらエンドツーエンドであり、人気のある Tesla FSD V12 です。この機会に、現時点での私の考えや意見を整理し、皆様のご参考とご議論に役立てたいと思います。
#エンドツーエンドの自動運転システムを定義するにはどうすればよいですか?また、エンドツーエンドで解決する必要がある問題は何ですか?
最も伝統的な定義によれば、エンドツーエンド システムとは、センサーから生の情報を入力し、関係する変数をタスクに直接出力するシステムを指します。たとえば、画像認識では、従来の特徴抽出分類器と比較した CNN 方式をエンドツーエンドと呼ぶことができます。自動運転タスクでは、各種センサー(カメラ/LiDAR/レーダー/IMUなど)からのデータを入力し、車両走行のための制御信号(スロットル/ハンドル角など)を直接出力します。異なるモデル間の適応問題を考慮するために、出力を車両の軌道に合わせて緩和することもできます。これは伝統的な意味での定義、または私が狭いエンドツーエンドの定義と呼ぶものです。これに基づいて、パフォーマンス能力を向上させるために、いくつかの中間タスク監視も導出されています。
しかし、そのような狭い定義に加えて、エンドツーエンドの本質とは何か、という本質的なことも考えるべきです。 エンドツーエンドの本質は感覚情報のロスレス伝送であるべきだと思います。まず、非エンドツーエンド システムにおけるセンシング モジュールと PnC モジュール間のインターフェイスがどのようなものであるかを思い出してみましょう。一般的には、ホワイトリストオブジェクト (車、人など) の検出/属性分析/予測、および静的環境 (道路構造/制限速度/信号機など) の理解が行われます。一般的な障害物の検出作業も行います。 マクロの観点から見ると、知覚によって出力される情報は複雑な運転シナリオを抽象化したものであり、手動で定義された明示的な抽象化です。ただし、一部の特殊なシナリオでは、現在の明示的な抽象化ではシーン内の運転動作に影響を与える要素を完全に表現できない場合や、定義する必要があるタスクが多すぎて些細すぎるため、必要なタスクをすべて列挙することが困難な場合があります。したがって、エンドツーエンド システムは (おそらく暗黙的な) 包括的な表現を提供し、そのような情報を PnC に自動的かつロスなく適用することを期待しています。このような要件を満たすことができるすべてのシステムは、汎用化されたエンドツーエンドと呼ぶことができると思います。
動的対話シナリオの最適化などの他の問題に関しては、少なくともエンドツーエンドだけでこれらの問題を解決できるわけではない、というのが私の個人的な意見です。もちろん、データ量が十分に大きい場合は、エンドツーエンドが非常に優れたソリューションを提供する可能性があります。これが必要かどうかについては、次のいくつかの質問で説明します。
#エンドツーエンドの自動運転について誤解がありますか?
制御信号とウェイポイントは必ずエンドツーエンドで出力してください
一般化されたエンドツーエンドの概念については、可能であれば上記の概念に同意する場合、この問題は理解しやすいです。エンドツーエンドでは、タスク量を直接出力するのではなく、情報をロスなく送信することが重視されます。このようなエンドツーエンドの処理方法では、セキュリティを確保するために多数の秘密の解決策が必要であり、また、実装プロセス中にいくつかの問題に遭遇し、その後の処理で徐々に明らかになります。
エンドツーエンド システムは、大規模なモデルまたは純粋なビジョンに基づいている必要があります
エンドツーエンドの概念自動運転と大規模モデルの自動化の終焉 運転と純粋に視覚的な自動運転の間には、必ずしも関連性はありません。これら 3 つの概念は完全に独立して存在します。エンドツーエンド システムは、従来の意味での大規模なモデルによって駆動される必要はなく、必ずしも純粋に視覚的なものである必要もありません。この 3 つの間にはいくつかのつながりがありますが、同等ではありません。
これらの概念の関係について詳しく説明した以前の記事があります。詳細については、https://zhuanlan.zhihu.com/p/664189972
を参照してください。 run, 上記の狭義のエンドツーエンドシステムでL3レベル以上の自動運転は実現可能でしょうか?
実際のところ、最初に苦情を言いたいと思います。 L4 を破壊するために大規模なモデルを使用すると主張する人は、実際に L4 を実行したことがありません。すべての病気をエンドツーエンドで治療すると主張する人は、PnC# を実行したことがありません。 ##。それで、エンドツーエンドに熱心な多くの人々とチャットした後、それは検証も反証も不可能な純粋に宗教的な論争に変わりました。最先端の研究開発に従事する私たち学生は、より実践的であり、証拠に注意を払う必要があります。 。 。少なくとも、何を転覆したいのかについての基本的な知識を持ち、それに伴う厄介な問題を理解する必要があります。これが、あなたが持つべき基本的な科学的資質です。 。 。
本題に戻りますが、現時点では私は悲観的です。 FSD が現在純粋にエンドツーエンドであると主張しているという事実に関係なく、たとえこの車両が統計的に人間と同じくらい安全であるとしても、そのパフォーマンスは将来的に L3 レベル以上に必要とされる信頼性と安定性には程遠いです。ドライバーがアライメントを間違えるのと同じくらい安全に対処する必要がある。もっと率直に言うと、自動運転システムが国民や世論に受け入れられたいのであれば、鍵は絶対的な事故率や死亡率ではなく、いくつかのシナリオが存在することを国民が受け入れることができるかどうかにあるかもしれない。人間にとって有害な問題は比較的簡単に解決できますが、機械は間違いを犯します。純粋なエンドツーエンド システムの場合、この要件を達成するのはさらに困難です。より具体的には、2021 年に私が行った回答で説明されました。詳細については、次を参照してください: ロビン・リーのモーメント投稿を表示する方法: 無人運転は間違いなく事故を引き起こしますが、その可能性は事故よりもはるかに低いです有人運転? https://www.zhihu.com/question/530828899/answer/2590673435?utm_psn=1762524415009697792 北米の Waymo と Cruise を例に挙げると、実際に多くの製品を生み出しています。しかし、クルーズの最後の事故はなぜ規制当局や国民に受け入れられなかったのでしょうか?この事故では 2 名が負傷しました。最初の衝突は人間のドライバーにとって回避するのが非常に困難でしたが、実際には許容範囲でした。しかし、この衝突後、システムが衝突位置と負傷者の位置を誤判断し、車寄せモードに移行し、負傷者を長時間引きずるという重大な二次被害が発生した。このような行為は通常の人間のドライバーでは行わないことであり、非常に悪い影響を及ぼします。この事件はその後のクルーズ社の混乱に直接つながった。この事件は実際に私たちに警鐘を鳴らしました。自動運転システムの開発と運用においては、このような事態をいかに回避するかが真剣に考慮されるべきです。では、現時点で、次世代の量産型運転支援システムのための実用的なソリューションは何でしょうか?
簡単に言えば、適切なシステムは、まず従来のシステムの機能の上限を十分に探求し、次にそれをエンドツーエンドの柔軟性と汎用性と組み合わせる必要があると思います。段階的 エンドツーエンドの ソリューション。もちろん、この2つをどう有機的に組み合わせるかは有料コンテンツです(笑)。 。 。しかし、いわゆるエンドツーエンドまたは学習ベースのプランナーが現在実際に何をしているのかを分析することはできます。
私の限られた理解に基づくと、いわゆるエンドツーエンドモデルが運転に使用される場合、出力軌跡は従来の方法に基づいたソリューション、つまり学習ベースのプランナーや従来の方法に基づいたソリューションに従います。軌道計画アルゴリズムは複数の軌道を同時に出力し、セレクターを通じて 1 つを選択して実行します。システム アーキテクチャがこのように設計されている場合、そのようなカスケード システムのパフォーマンスの上限は、実際にはそのような隠蔽計画とセレクターによって制限されます。このようなソリューションが依然として純粋なフィードフォワード学習に基づいている場合、依然として予測できない障害が発生し、安全であるという目的を本質的に達成できません。このような出力軌跡を最適化または選択するために従来の計画手法を使用することを検討する場合、それは学習ベースの手法によって生成される軌跡と同等です。は、そのような最適化および検索の問題に対する単なる初期の解決策です。そのような軌道を直接最適化して検索してみてはいかがでしょうか?
もちろん、一部の学生は飛び出して、そのような最適化または探索問題は非凸であり、状態空間が大きすぎて車両システム上でリアルタイムで実行できないと言うでしょう。ここで皆さんにこの質問について注意深く考えていただきたいのです。過去 10 年間で、認識システムの計算能力は少なくとも 100 倍に向上しましたが、PnC モジュールはどうでしょうか?近年の高度な最適化アルゴリズムの開発と組み合わせて、PnC モジュールが大規模な計算能力を使用できるようにした場合でも、この結論は依然として有効でしょうか?このような問題に対して、私たちは現状に安住し、道に頼るのではなく、何が正しいのかを第一義的に考えるべきである。データ駆動型と従来の手法の関係をどのように調整するか?
実際、自動運転に非常によく似た例は、今年 2 月にチェスをプレイすることです (検索なしのグランドマスターレベルのチェス: https://arxiv.org)。 /abs/2402.04494) は、AlphaGo と AlphaZero でデータ駆動のみを使用し、MCTS 検索を放棄することが可能かどうかを検討しています。自動運転に似ているのは、アクションを直接出力するために 1 つのネットワークのみが使用され、後続のステップはすべて破棄されるということです。この記事の結論は、かなりの規模のデータとモデル パラメーターの下では、検索なしでも妥当な結果が得られるということですが、この方法に検索を加えた場合と比較すると、依然として大きなギャップがあります。 (記事内の比較は実際には公平ではありません。実際の差はさらに大きいはずです。) 特に、いくつかの困難なエンドゲームを解決する場合、純粋なデータ駆動型のパフォーマンスは非常に劣ります。この自動運転への類似は、複数ステップのゲームを必要とする困難なシナリオやコーナーケースでは、従来の最適化アルゴリズムや検索アルゴリズムを完全に放棄することが依然として難しいことを意味します。 AlphaZero のようなさまざまなテクノロジーの利点を合理的に利用することが、パフォーマンスを向上させる最も効率的な方法です。
従来の方法 = if else に基づくルール?
この概念も、多くの人々とのやり取りの中で繰り返し修正する必要があります。多くの人の定義によれば、純粋にデータ駆動型でない限り、それはルールベースと呼ばれます。もう一度チェスの例を考えてみましょう。公式や棋譜を丸暗記するのはルールベースですが、AlphaGo や AlphaZero のような検索と最適化による推論機能をモデルに与える場合、それはルールベースとは言えないと思います。これはまさに、現在の大規模モデル自体に欠けているものであり、研究者が CoT やその他の方法を通じて学習ベースのモデルを与えようとしているものです。しかし、運転者のあらゆる行動には明確な動機があり、理由を明確に説明できない純粋なデータ駆動型の画像認識などのタスクとは異なります。適切なアルゴリズム アーキテクチャ設計の下では、意思決定の軌跡が変数となり、科学的目標に基づいて均一に最適化される必要があります。無理にパッチを当てたりパラメータを調整したりして様々なケースを解決するのではなく。当然のことながら、このようなシステムにはさまざまなハードコードを使用した奇妙なルールはありません。
まとめ
最後に、エンドツーエンドは有望な技術的ルートかもしれませんが、そのような概念をどのように導入できるかについては、まだ検討すべきことがたくさんあります。練習問題。データとモデルパラメータを積み重ねることが唯一の正しい解決策なのでしょうか? 私の考えでは、現時点ではそうではありません。いつの時代も最先端の研究技術者である私たちは、マスク自身を第一原理にするのではなく、マスクが言った第一原理やエンジニア思考を真に追求し、実践から問題の本質を考えるべきだと感じています。 。本当に前に進みたいなら、考えることを諦めずに他人の言うことに従うべきです。そうしないと、コーナーで追い越そうとし続けなければなりません。
以上がエンドツーエンドおよび次世代の自動運転システムと、エンドツーエンドの自動運転に関する誤解について話しましょう。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











上記と著者の個人的な理解 3 次元ガウシアンプラッティング (3DGS) は、近年、明示的な放射線フィールドとコンピューター グラフィックスの分野で出現した革新的なテクノロジーです。この革新的な方法は、数百万の 3D ガウスを使用することを特徴とし、主に暗黙的な座標ベースのモデルを使用して空間座標をピクセル値にマッピングする神経放射線場 (NeRF) 方法とは大きく異なります。明示的なシーン表現と微分可能なレンダリング アルゴリズムにより、3DGS はリアルタイム レンダリング機能を保証するだけでなく、前例のないレベルの制御とシーン編集も導入します。これにより、3DGS は、次世代の 3D 再構築と表現にとって大きな変革をもたらす可能性のあるものとして位置付けられます。この目的を達成するために、私たちは 3DGS 分野における最新の開発と懸念について初めて体系的な概要を提供します。

昨日の面接で、ロングテール関連の質問をしたかと聞かれたので、簡単にまとめてみようと思いました。自動運転のロングテール問題とは、自動運転車におけるエッジケース、つまり発生確率が低い考えられるシナリオを指します。認識されているロングテール問題は、現在、単一車両のインテリジェント自動運転車の運用設計領域を制限している主な理由の 1 つです。自動運転の基礎となるアーキテクチャとほとんどの技術的問題は解決されており、残りの 5% のロングテール問題が徐々に自動運転の開発を制限する鍵となってきています。これらの問題には、さまざまな断片的なシナリオ、極端な状況、予測不可能な人間の行動が含まれます。自動運転におけるエッジ シナリオの「ロング テール」とは、自動運転車 (AV) におけるエッジ ケースを指します。エッジ ケースは、発生確率が低い可能性のあるシナリオです。これらの珍しい出来事

0.前面に書かれています&& 自動運転システムは、さまざまなセンサー (カメラ、ライダー、レーダーなど) を使用して周囲の環境を認識し、アルゴリズムとモデルを使用することにより、高度な知覚、意思決定、および制御テクノロジーに依存しているという個人的な理解リアルタイムの分析と意思決定に。これにより、車両は道路標識の認識、他の車両の検出と追跡、歩行者の行動の予測などを行うことで、安全な運行と複雑な交通環境への適応が可能となり、現在広く注目を集めており、将来の交通分野における重要な開発分野と考えられています。 。 1つ。しかし、自動運転を難しくしているのは、周囲で何が起こっているかを車に理解させる方法を見つけることです。これには、自動運転システムの 3 次元物体検出アルゴリズムが、周囲環境にある物体 (位置を含む) を正確に認識し、記述することができる必要があります。

自動運転では軌道予測が重要な役割を果たしており、自動運転軌道予測とは、車両の走行過程におけるさまざまなデータを分析し、将来の車両の走行軌跡を予測することを指します。自動運転のコアモジュールとして、軌道予測の品質は下流の計画制御にとって非常に重要です。軌道予測タスクには豊富な技術スタックがあり、自動運転の動的/静的知覚、高精度地図、車線境界線、ニューラル ネットワーク アーキテクチャ (CNN&GNN&Transformer) スキルなどに精通している必要があります。始めるのは非常に困難です。多くのファンは、できるだけ早く軌道予測を始めて、落とし穴を避けたいと考えています。今日は、軌道予測に関するよくある問題と入門的な学習方法を取り上げます。関連知識の紹介 1. プレビュー用紙は整っていますか? A: まずアンケートを見てください。

最初のパイロットおよび重要な記事では、主に自動運転技術で一般的に使用されるいくつかの座標系と、それらの間の相関と変換を完了し、最終的に統合環境モデルを構築する方法を紹介します。ここでの焦点は、車両からカメラの剛体への変換 (外部パラメータ)、カメラから画像への変換 (内部パラメータ)、および画像からピクセル単位への変換を理解することです。 3D から 2D への変換には、対応する歪み、変換などが発生します。要点:車両座標系とカメラ本体座標系を平面座標系とピクセル座標系に書き換える必要がある 難易度:画像の歪みを考慮する必要がある 歪み補正と歪み付加の両方を画面上で補正する2. はじめに ビジョンシステムには、ピクセル平面座標系 (u, v)、画像座標系 (x, y)、カメラ座標系 ()、世界座標系 () の合計 4 つの座標系があります。それぞれの座標系には関係性があり、

原題: SIMPL: ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving 論文リンク: https://arxiv.org/pdf/2402.02519.pdf コードリンク: https://github.com/HKUST-Aerial-Robotics/SIMPL 著者単位: 香港科学大学DJI 論文のアイデア: この論文は、自動運転車向けのシンプルで効率的な動作予測ベースライン (SIMPL) を提案しています。従来のエージェントセントとの比較

先頭と開始点に書かれている エンドツーエンドのパラダイムでは、統一されたフレームワークを使用して自動運転システムのマルチタスクを実現します。このパラダイムの単純さと明確さにも関わらず、サブタスクにおけるエンドツーエンドの自動運転手法のパフォーマンスは、依然としてシングルタスク手法に比べてはるかに遅れています。同時に、以前のエンドツーエンド手法で広く使用されていた高密度鳥瞰図 (BEV) 機能により、より多くのモダリティやタスクに拡張することが困難になります。ここでは、スパース検索中心のエンドツーエンド自動運転パラダイム (SparseAD) が提案されています。このパラダイムでは、スパース検索は、高密度の BEV 表現を使用せずに、空間、時間、タスクを含む運転シナリオ全体を完全に表します。具体的には、統合されたスパース アーキテクチャが、検出、追跡、オンライン マッピングなどのタスク認識のために設計されています。さらに、重い

この 1 か月間、いくつかのよく知られた理由により、私は業界のさまざまな教師やクラスメートと非常に集中的な交流をしてきました。この交換で避けられない話題は当然、エンドツーエンドと人気の Tesla FSDV12 です。この機会に、現時点での私の考えや意見を整理し、皆様のご参考とご議論に役立てたいと思います。エンドツーエンドの自動運転システムをどのように定義するか、またエンドツーエンドで解決することが期待される問題は何でしょうか?最も伝統的な定義によれば、エンドツーエンド システムとは、センサーから生の情報を入力し、関心のある変数をタスクに直接出力するシステムを指します。たとえば、画像認識では、従来の特徴抽出 + 分類子方式と比較して、CNN はエンドツーエンドと言えます。自動運転タスクでは、各種センサー(カメラ/LiDAR)からのデータを入力
