目次
研究の背景と意義
問題定義
方法の紹介
フェーズ 1: 共同ベースクラス トレーニング
フェーズ 2: 新しいエージェント トレーニング
実験結果
ホームページ テクノロジー周辺機器 AI 「レスキュー」オープン異種シナリオ | HEAL: 最新のスケーラブルな協調センシング フレームワーク

「レスキュー」オープン異種シナリオ | HEAL: 最新のスケーラブルな協調センシング フレームワーク

Feb 19, 2024 pm 12:30 PM
システム 研究

協調センシング技術は、自動運転車の知覚問題を解決する上で非常に重要です。しかし、既存の研究では、エージェント間で起こり得る異質性、つまりセンサーや知覚モデルの多様性が無視されていることがよくあります。実際のアプリケーションでは、エージェント間でモダリティやモデルに大きな違いがある可能性があり、それがドメインの違いにつながり、協調センシングを困難にします。したがって、今後の研究では、より効果的な協調センシングを実現するために、エージェント間の異質性を効果的に処理する方法を検討する必要があります。そのためには、異なるエージェント間の違いに対応し、それらが連携してより効率的な自動運転システムを実現できるようにするための新しい方法とアルゴリズムの開発が必要になります。

この実際的な課題を解決するために、ICLR 2024 の最新の研究論文「オープンな異種間協調認識のための拡張可能なフレームワーク」では、オープンな異種間コラボレーションの認識 (Open Heterogeneous Collaborative Perception) の問題を定義しています。高いセンシング性能と低い参加コストを確保しながら、異種のエージェント タイプを既存の協調センシング システムに参加させることはできるでしょうか?上海交通大学、南カリフォルニア大学、上海人工知能研究所の研究者は、この記事で HEAL (HEterogeneous ALliance) を提案しました。未解決の異種協調センシング問題の 2 つの主要な問題点を効果的に解決するエージェント コラボレーション フレームワーク。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

彼らは、複数の協調センシング データ セット、複数の協調センシング アルゴリズムを含み、マルチモダリティをサポートするコード フレームワークを作成しました。これは現在完全にオープン ソースです。著者は、これが現時点で最も完全な協調センシング コード フレームワークであり、より多くの人々がマルチモーダルでヘテロジニアスな協調センシング研究分野に簡単に参入できるようになることが期待されていると考えています。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

  • 論文リンク: https://arxiv.org/abs/2401.13964
  • コードリンク: https://github.com/yifanlu0227 /HEAL

研究の背景と意義

近年、自動運転技術が学界や産業界から大きな注目を集めています。しかし、実際の道路状況は複雑かつ変化しやすく、1 台の車両のセンサーが他の車両によってブロックされ、自動運転システムの認識能力に課題が生じる可能性があります。これらの問題を解決するには、マルチエージェント間の協調センシングが解決策となる。通信技術の進歩により、エージェントは感覚情報を共有し、自分のセンサー データと他のエージェントからの情報を組み合わせて、周囲環境の認識を向上させることができます。コラボレーションを通じて、各エージェントは自分の視野を超えた情報を取得できるようになり、認識能力と意思決定能力の向上に役立ちます。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

図 1. 視線の遮蔽、自転車の知覚の制限によって引き起こされる「ゴースト プローブ」問題

現在の研究分野では、ほとんどの研究は単純化しすぎている可能性がある仮定: すべてのエージェントは同じ構造を持っている必要があります。つまり、エージェントの認識システムはすべて同じセンサーを使用し、同じ検出モデルを共有しています。ただし、現実の世界では、エージェントごとにパターンやモデルが異なる場合があり、新しいパターンやモデルが引き続き出現する可能性があります。センサー技術とアルゴリズムの急速な発展により、最初にすべての種類の協調エージェント (モードやモデルを含む) を識別することは非現実的です。トレーニング セットに一度も登場したことのない異種エージェントがコラボレーションに参加したい場合、既存のエージェントとのドメインの違いに必然的に遭遇します。この違いにより、既存のエージェントとの機能融合を実行する能力が制限され、その結果、協調センシングの拡張性が大幅に制限されます。

したがって、オープンな異種協調センシングの問題が生じます。高いセンシング性能と低い統合コストを確保しながら、新たなエージェント タイプを既存の協調センシング システムに追加するにはどうすればよいでしょうか。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

図 2. (a) 同種協調センシング (b) 異種協調センシング (c) 新しい異種エージェントの追加を考慮したオープンな異種協調センシング (d) HEAL はトレーニングコストを最小限に抑えながら、最高の共同認識パフォーマンスを実現します

この問題を解決するための実現可能な解決策はポストフュージョンです。各エージェントの知覚出力 (3D バウンディング ボックスなど) を融合することにより、融合後は新規エージェントと既存エージェント間の異質性が回避され、トレーニングは単一のエージェント クラスでのみ実行する必要があります。ただし、ポストフュージョンのパフォーマンスは理想的ではなく、位置決めノイズや通信遅延などの干渉要因の影響を特に受けやすいことが示されています。もう 1 つの潜在的なアプローチは、領域の違いを克服するための共同トレーニングのために、コラボレーション内のすべてのエージェント タイプを集約する完全集合トレーニングです。ただし、このアプローチでは、新しいエージェント タイプが導入されるたびにすべてのモデルを再トレーニングする必要があります。新しい異種エージェントが継続的に出現するため、トレーニングのコストが急激に増加します。 HEAL は、完全集合トレーニングの高いパフォーマンスと融合後の低トレーニング コストを同時に備えた、新しいオープンな異種コラボレーション フレームワークを提案します。

問題定義

オープンな異種共同認識問題では、次のシナリオを考慮します。これまで利用できなかったモダリティまたはモデルを持つ異種エージェント カテゴリをコラボレーション システムに既存のものに追加します。一般性を失うことなく、シーンは最初は同種のエージェントで構成されており、それらのエージェントには同じタイプのセンサーが装備され、同じ検出モデルが展開されており、すべて相互に通信する機能があると考えられます。これらの同型エージェントは既存の協調システムを形成します。その後、シーンに一度も登場したことのないモダリティまたは知覚モデルを持つ異種エージェントが協力システムに加わります。この動的な性質は、現実世界で協調センシングを展開する際の特徴です。エージェント クラスは最初から完全には決定されておらず、時間の経過とともに種類の数が増加する可能性があります。また、これは、異種カテゴリーが事前に決定され固定されていた、これまでの異種協調センシング問題とは大きく異なります。

方法の紹介

この記事で提案するオープンな異種協調認識フレームワーク HEAL (HEterogeneous ALliance) は、新しい異種エージェントを追加する 2 段階の方法を設計します。 i) 協調的な基本クラスのトレーニングにより、最初のエージェントが機能融合コラボレーション ネットワークをトレーニングし、統合された機能空間を作成できるようになります; ii) 新しいエージェントのトレーニングにより、新しいエージェントの機能を統合します 以前に確立された統合機能と連携しますスペースを確保し、新しいエージェントと既存のエージェントが機能レベルで共同作業できるようにします。

コラボレーションに参加する新しいエージェント タイプごとに、トレーニングの第 2 フェーズのみが必要です。トレーニングの第 2 段階は、エージェントの所有者が独立して実施でき、既存のエージェントとの集合的なトレーニングは含まれないことに注意してください。これにより、新しいエージェントのモデルの詳細が公開されるのを防ぎながら、より低いトレーニング コストで新しいエージェントを追加できるようになります。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

図 3. HEAL の全体的なフレームワーク

フェーズ 1: 共同ベースクラス トレーニング

初めに存在する同型エージェントを協調基底クラスとして使用し、特徴融合に基づく協調センシングネットワークを訓練する。我々は、複数のエージェントの特徴を抽出・融合するための新しいピラミッド融合ネットワークを提案する.具体的には、各同型エージェントのエンコーダによってエンコードされたBEV特徴に対して、スケールの異なる多層のResNeXtネットワークを通過させて、粗粒度の抽出を行うきめ細かい機能情報。異なるスケールの特徴マップについては、前景予測ネットワークを適用して、BEV の各特徴位置に車両などの前景が存在する確率を推定します。共同作業者全体で、前景の確率マップは、特徴マップのピクセルごとの重み付けされた融合からの重み分布として正規化されます。異なるスケールで融合された特徴マップを取得した後、一連のアップサンプリング ネットワークを使用してそれらを同じ特徴マップ サイズに変換し、最終的な融合された特徴マップを取得します。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

図 4. ピラミッド融合ネットワーク

融合された特徴マップは検出ヘッドを通過し、最終的な協調検出結果に変換されます。協調的な検出結果と前景の確率マップは両方ともグラウンド トゥルースによって監視されます。トレーニング後、コラボレーション ネットワーク (ピラミッド フュージョン ネットワーク) のパラメーターは、コラボレーション基本クラスの関連する特徴情報を保存し、その後の新しい異種エージェントの調整のための共有特徴空間を構築します。

フェーズ 2: 新しいエージェント トレーニング

新しい異種エージェント タイプの追加を検討しています。我々は新しい後方位置合わせ手法を提案する。中心となるアイデアは、前段のピラミッド フュージョン ネットワークと検出ヘッドを新しいエージェントの検出器バックエンドとして利用し、フロントエンド エンコーダに関連するパラメータのみを更新することです。

注目に値するのは、新しい異種カテゴリーの単一エージェントに対して単体トレーニングを実施しており、エージェント間の協力が含まれていないことです。したがって、ピラミッド フュージョン ネットワークの入力は、1 段階のマルチエージェントの特徴マップではなく、単一の特徴マップです。事前トレーニングされたピラミッド融合モジュールと検出ヘッドがバックエンドとして確立され、固定されると、新しいエージェントによってエンコードされた特徴が統一された特徴空間と一致するように、トレーニング プロセスが進化してフロントエンド エンコーダーをバックエンドのパラメーターに適応させます。機能は既存のエージェントの機能と連携しているため、高パフォーマンスの機能レベルのコラボレーションを実現できます。

後方調整には独特の利点もあります。トレーニングは新しい単一のエージェントに対してのみ実行されます。これにより、新しいエージェントが追加されるたびに行われるトレーニング コストと時空間同期のデータ収集コストが大幅に削減されます。さらに、新しいエージェントのモデルの詳細が他人に公開されるのを防ぎ、新しいエージェントの所有者が独自のセンサー データを使用してモデルをトレーニングできるようにします。これにより、自動車企業が協調的な車車間センシング技術 (V2V) を導入する際に抱く可能性のある多くの懸念が大幅に解決されます。

実験結果

OPV2V データ セットに基づいて、この論文では、各車両の 16 行と 32 行のLIDAR データと 4 台の深度カメラからのデータ。 OPV2V-H データセットと実際のデータセット DAIR-V2X の実験結果は、HEAL が異種エージェントがコラボレーションに参加するための一連のトレーニング コスト (トレーニング パラメーター、FLOP、トレーニング時間など) を大幅に削減し、また非常に高いパフォーマンスを維持することを示しています。高い協調検出パフォーマンス。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

図 5. HEAL は高いパフォーマンスと低いトレーニング コストの両方を備えています

位置決めノイズと特徴圧縮が存在する場合でも、HEAL は最高のパフォーマンスを維持します。検出パフォーマンスは、HEAL が現実に近い設定において現在最も効果的な協調センシング アルゴリズムであることを示しています。

『拯救』开放异构场景 | HEAL:最新可扩展协作感知框架

以上が「レスキュー」オープン異種シナリオ | HEAL: 最新のスケーラブルな協調センシング フレームワークの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

CUDA の汎用行列乗算: 入門から習熟まで! CUDA の汎用行列乗算: 入門から習熟まで! Mar 25, 2024 pm 12:30 PM

General Matrix Multiplication (GEMM) は、多くのアプリケーションやアルゴリズムの重要な部分であり、コンピューター ハードウェアのパフォーマンスを評価するための重要な指標の 1 つでもあります。 GEMM の実装に関する徹底的な調査と最適化は、ハイ パフォーマンス コンピューティングとソフトウェア システムとハードウェア システムの関係をより深く理解するのに役立ちます。コンピューター サイエンスでは、GEMM を効果的に最適化すると、計算速度が向上し、リソースが節約されます。これは、コンピューター システムの全体的なパフォーマンスを向上させるために非常に重要です。 GEMM の動作原理と最適化方法を深く理解することは、最新のコンピューティング ハードウェアの可能性をより有効に活用し、さまざまな複雑なコンピューティング タスクに対してより効率的なソリューションを提供するのに役立ちます。 GEMMのパフォーマンスを最適化することで

ファーウェイのQiankun ADS3.0インテリジェント運転システムは8月に発売され、初めてXiangjie S9に搭載される ファーウェイのQiankun ADS3.0インテリジェント運転システムは8月に発売され、初めてXiangjie S9に搭載される Jul 30, 2024 pm 02:17 PM

7月29日、AITO Wenjieの40万台目の新車のロールオフ式典に、ファーウェイの常務取締役、ターミナルBG会長、スマートカーソリューションBU会長のYu Chengdong氏が出席し、スピーチを行い、Wenjieシリーズモデルの発売を発表した。 8月にHuawei Qiankun ADS 3.0バージョンが発売され、8月から9月にかけて順次アップグレードが行われる予定です。 8月6日に発売されるXiangjie S9には、ファーウェイのADS3.0インテリジェント運転システムが初搭載される。 LiDARの支援により、Huawei Qiankun ADS3.0バージョンはインテリジェント運転機能を大幅に向上させ、エンドツーエンドの統合機能を備え、GOD(一般障害物識別)/PDP(予測)の新しいエンドツーエンドアーキテクチャを採用します。意思決定と制御)、駐車スペースから駐車スペースまでのスマート運転のNCA機能の提供、CAS3.0のアップグレード

モデル、データ、フレームワークの詳細: 効率的な大規模言語モデルの 54 ページにわたる徹底的なレビュー モデル、データ、フレームワークの詳細: 効率的な大規模言語モデルの 54 ページにわたる徹底的なレビュー Jan 14, 2024 pm 07:48 PM

大規模言語モデル (LLM) は、自然言語理解、言語生成、複雑な推論などの多くの重要なタスクにおいて説得力のある能力を実証し、社会に大きな影響を与えてきました。ただし、これらの優れた機能には、大量のトレーニング リソース (左の図に示す) と長い推論時間 (右の図に示す) が必要です。したがって、研究者は効率の問題を解決するための効果的な技術的手段を開発する必要があります。さらに、図の右側からわかるように、Mistral-7B などのいくつかの効率的な LLM (LanguageModel) が、LLM の設計と展開にうまく使用されています。これらの効率的な LLM は、LLaMA1-33B と同様の精度を維持しながら、推論メモリを大幅に削減できます。

Apple 16 システムのどのバージョンが最適ですか? Apple 16 システムのどのバージョンが最適ですか? Mar 08, 2024 pm 05:16 PM

Apple 16 システムの最適なバージョンは iOS16.1.4 です。iOS16 システムの最適なバージョンは人によって異なります。日常の使用体験における追加と改善も多くのユーザーから賞賛されています。 Apple 16 システムの最適なバージョンはどれですか? 回答: iOS16.1.4 iOS 16 システムの最適なバージョンは人によって異なる場合があります。公開情報によると、2022 年にリリースされた iOS16 は非常に安定していてパフォーマンスの高いバージョンであると考えられており、ユーザーはその全体的なエクスペリエンスに非常に満足しています。また、iOS16では新機能の追加や日常の使用感の向上も多くのユーザーからご好評をいただいております。特に最新のバッテリー寿命、信号性能、加熱制御に関して、ユーザーからのフィードバックは比較的好評です。ただし、iPhone14を考慮すると、

常に新しい! Huawei Mate60シリーズがHarmonyOS 4.2にアップグレード:AIクラウドの強化、Xiaoyi方言はとても使いやすい 常に新しい! Huawei Mate60シリーズがHarmonyOS 4.2にアップグレード:AIクラウドの強化、Xiaoyi方言はとても使いやすい Jun 02, 2024 pm 02:58 PM

4月11日、ファーウェイはHarmonyOS 4.2 100台のアップグレード計画を初めて正式に発表し、今回は携帯電話、タブレット、時計、ヘッドフォン、スマートスクリーンなどのデバイスを含む180台以上のデバイスがアップグレードに参加する予定だ。先月、HarmonyOS4.2 100台アップグレード計画の着実な進捗に伴い、Huawei Pocket2、Huawei MateX5シリーズ、nova12シリーズ、Huawei Puraシリーズなどの多くの人気モデルもアップグレードと適応を開始しました。 HarmonyOS によってもたらされる共通の、そして多くの場合新しい体験を楽しむことができる Huawei モデルのユーザーが増えることになります。ユーザーのフィードバックから判断すると、HarmonyOS4.2にアップグレードした後、Huawei Mate60シリーズモデルのエクスペリエンスがあらゆる面で向上しました。特にファーウェイM

コンピュータのオペレーティング システムとは何ですか? コンピュータのオペレーティング システムとは何ですか? Jan 12, 2024 pm 03:12 PM

コンピュータ オペレーティング システムは、コンピュータ ハードウェアとソフトウェア プログラムを管理するために使用されるシステムです。また、すべてのソフトウェア システムに基づいて開発されたオペレーティング システム プログラムでもあります。オペレーティング システムが異なれば、ユーザーも異なります。では、コンピュータ システムとは何でしょうか?以下では、編集者がコンピューターのオペレーティング システムとは何かについて説明します。いわゆるオペレーティング システムはコンピュータのハードウェアとソフトウェア プログラムを管理するもので、すべてのソフトウェアはオペレーティング システム プログラムに基づいて開発されます。実際、OSには産業用、商業用、個人用など多くの種類があり、幅広い用途に対応しています。以下では、編集者がコンピューターのオペレーティングシステムとは何かについて説明します。 Windows システムとはどのようなコンピュータのオペレーティング システムですか? Windows システムは、米国 Microsoft Corporation によって開発されたオペレーティング システムです。ほとんどよりも

Linux と Windows システムにおける cmd コマンドの相違点と類似点 Linux と Windows システムにおける cmd コマンドの相違点と類似点 Mar 15, 2024 am 08:12 AM

Linux と Windows は 2 つの一般的なオペレーティング システムで、それぞれオープン ソースの Linux システムと商用 Windows システムを表します。どちらのオペレーティング システムにも、ユーザーがオペレーティング システムと対話するためのコマンド ライン インターフェイスがあります。 Linux システムでは、ユーザーはシェル コマンド ラインを使用しますが、Windows システムでは、cmd コマンド ラインを使用します。 Linux システムのシェル コマンド ラインは、ほぼすべてのシステム管理タスクを完了できる非常に強力なツールです。

Oracleデータベースのシステム日付を変更する方法の詳細な説明 Oracleデータベースのシステム日付を変更する方法の詳細な説明 Mar 09, 2024 am 10:21 AM

Oracle データベースでのシステム日付の変更方法の詳細説明 Oracle データベースでのシステム日付の変更方法は、主に NLS_DATE_FORMAT パラメータの変更と SYSDATE 関数の使用です。この記事では、読者が Oracle データベースのシステム日付を変更する操作をよりよく理解し、習得できるように、これら 2 つの方法とその具体的なコード例を詳しく紹介します。 1. NLS_DATE_FORMAT パラメータメソッドの変更 NLS_DATE_FORMAT は Oracle データです

See all articles