'구조' 개방형 이기종 시나리오 HEAL: 확장 가능한 최신 협업 감지 프레임워크

협동 센싱 기술은 자율주행차의 인식 문제를 해결하는 데 큰 의미가 있습니다. 그러나 기존 연구에서는 에이전트 간의 이질성, 즉 센서와 인식 모델의 다양성을 무시하는 경우가 많습니다. 실제 적용에서는 에이전트 간의 양식과 모델에 상당한 차이가 있을 수 있으며, 이로 인해 도메인 차이가 발생하고 공동 감지가 어려워집니다. 따라서 향후 연구에서는 보다 효과적인 협업 감지를 달성하기 위해 에이전트 간의 이질성을 효과적으로 처리하는 방법을 고려해야 합니다. 이를 위해서는 서로 다른 에이전트 간의 차이를 수용하고 보다 효율적인 자율 주행 시스템을 달성하기 위해 협력할 수 있도록 하는 새로운 방법과 알고리즘의 개발이 필요합니다.

이러한 실질적인 과제를 해결하기 위해 ICLR 2024의 최신 연구 기사 "개방형 이질적 협업 인식을 위한 확장 가능한 프레임워크"에서는 개방형 이질적 협업 인식 문제를 정의합니다. 지속적으로 등장하는 새로운 이질적 에이전트를 통합하는 방법 유형 기존 협업에 참여 높은 센싱 성능과 낮은 결합 비용을 보장하는 센싱 시스템? Shanghai Jiao Tong University, University of Southern California 및 Shanghai Artificial Intelligence Laboratory의 연구원은 이 기사에서 HEAL(HEterogeneousALliance)을 제안했습니다. 효과적인 확장 가능한 이기종 에이전트 협업 프레임워크는 두 가지 주요 문제점을 해결합니다. 개방형 이종 협업 감지 문제.

그들은 여러 협업 감지 데이터 세트, 여러 협업 감지 알고리즘을 포함하고 이제 완전 오픈 소스인 다중 양식을 지원하는 코드 프레임워크를 만들었습니다. 저자는 이것이 현재 가장 완벽한 협업 센싱 코드 프레임워크이며, 더 많은 사람들이 다중 모드, 이종 협업 센싱 연구 분야에 쉽게 진입할 수 있도록 도울 것으로 기대합니다.

• 논문 링크: https://arxiv.org/abs/2401.13964
• 코드 링크: https://github.com/yifanlu0227/HEAL

연구 배경 및 의의

최근 몇 년간 , 자율주행 기술은 학계와 산업계에서 많은 관심을 받고 있습니다. 그러나 실제 도로 상황은 복잡하고 변화가 심하며, 단일 차량의 센서가 다른 차량에 의해 차단될 수 있어 자율 주행 시스템의 인식 기능에 문제가 발생할 수 있습니다. 이러한 문제를 해결하기 위해서는 다중 에이전트 간 협업 센싱이 솔루션이 됩니다. 통신 기술의 발전으로 에이전트는 감각 정보를 공유하고 자신의 센서 데이터를 다른 에이전트의 정보와 결합하여 주변 환경에 대한 인식을 향상시킬 수 있습니다. 협업을 통해 각 에이전트는 자신의 시야를 넘어서는 정보를 얻을 수 있으며, 이는 인식 및 의사결정 능력을 향상시키는 데 도움이 됩니다.

그림 1. 시선 폐쇄, 제한된 자전거 인식으로 인해 발생하는 "유령 프로브" 문제

현재 연구 분야에서 대부분의 작업은 지나치게 단순화된 가정에 기반을 두고 있습니다. 즉, 모든 에이전트는 동일한 구조를 가져야 합니다. 즉, 그들의 인식 시스템은 모두 동일한 센서를 사용하고 동일한 감지 모델을 공유합니다. 그러나 현실 세계에서는 다양한 에이전트의 패턴과 모델이 다를 수 있으며, 새로운 패턴과 모델이 계속해서 나타날 수 있습니다. 센서 기술과 알고리즘의 급속한 발전으로 인해 처음에 모든 유형의 협업 에이전트(모드 및 모델 포함)를 식별하는 것은 비현실적입니다. 훈련 세트에 등장한 적이 없는 이종 에이전트가 협업에 참여하려고 하면 필연적으로 기존 에이전트와의 도메인 차이에 직면하게 됩니다. 이러한 차이로 인해 기존 에이전트와의 기능 융합을 수행하는 능력이 제한되어 협업 감지의 확장성이 크게 제한됩니다.

따라서 개방형 이종 협력 감지 문제가 발생합니다. 높은 감지 성능과 낮은 통합 비용을 보장하면서 기존 협력 감지 시스템에 새로운 에이전트 유형을 추가하는 방법은 무엇입니까?

그림 2. (a) 동종 협동 센싱 (b) 이종 협동 센싱 (c) 새로운 이종 에이전트 추가를 고려한 개방형 이종 협동 센싱 (d) HEAL은 최소한의 훈련 비용을 사용하면서 달성 최고의 협업 인지 성능

이 문제를 해결하기 위해 가능한 해결책은 사후 융합입니다. 각 에이전트의 지각 출력(예: 3D 경계 상자)을 융합함으로써 사후 융합은 신규 에이전트와 기존 에이전트 간의 이질성을 우회하며 교육은 단일 에이전트 클래스에서만 발생하면 됩니다. 그러나 후융합의 성능은 이상적이지 않으며 위치 잡음 및 통신 지연과 같은 간섭 요인에 특히 취약한 것으로 나타났습니다. 또 다른 잠재적인 접근 방식은 도메인 차이를 극복하기 위한 협업 교육을 위해 모든 에이전트 유형을 협업으로 집계하는 완전 집단 교육입니다. 그러나 이 접근 방식을 사용하려면 새로운 에이전트 유형이 도입될 때마다 모든 모델을 재교육해야 합니다. 새로운 이종 에이전트가 지속적으로 출현함에 따라 훈련 비용이 급격히 증가합니다. HEAL은 완전 집단 훈련의 높은 성능과 포스트 융합의 낮은 훈련 비용을 동시에 갖춘 새로운 개방형 이종 협업 프레임워크를 제안합니다.

문제 정의

개방형 이질적 협업 인식 문제는 이전에 사용할 수 없었던 양식이나 모델이 있는 이질적 에이전트 범주를 기존 협업 시스템에 추가하는 시나리오를 고려합니다. 일반성을 잃지 않으면서 장면이 처음에는 동일한 유형의 에이전트로 구성되어 있으며 동일한 유형의 센서가 장착되어 있고 동일한 감지 모델을 배포하며 모두 서로 통신할 수 있다고 가정합니다. 이러한 동형 에이전트는 기존 협업 시스템을 형성합니다. 이어서 현장에 한 번도 등장한 적이 없는 양식이나 지각 모델을 갖춘 이질적인 에이전트가 협업 시스템에 합류합니다. 이러한 동적 특성은 현실 세계에서 협업 감지를 배포하는 데 있어 독특한 특징입니다. 에이전트 클래스는 처음에는 완전히 결정되지 않으며 시간이 지남에 따라 유형 수가 늘어날 수 있습니다. 또한 이종 카테고리를 미리 결정하고 수정했던 기존의 이종 협업 센싱 문제와도 사뭇 다릅니다.

방법 소개

본 글에서 제안하는 개방형 이종 협업 인식 프레임워크 HEAL(HEterogeneous ALliance)은 성장하는 이종 동맹을 달성하기 위해 협업에 새로운 이종 에이전트를 추가하는 2단계 방법을 설계합니다. i) 협업 기반 클래스. 훈련, 초기 에이전트가 기능 융합 협업 네트워크를 훈련하고 통합 기능 공간을 생성하도록 허용 ii) 새로운 에이전트 훈련, 이전에 설정된 통합 기능 공간과 새 에이전트의 기능을 정렬하여 새로운 에이전트가 기존 에이전트와 협력할 수 있도록 함 기능 수준에서.

협업에 참여하는 새로운 에이전트 유형마다 두 번째 교육 단계만 필요합니다. 훈련의 두 번째 단계는 에이전트 소유자가 독립적으로 수행할 수 있으며 기존 에이전트와의 집합적 훈련을 포함하지 않는다는 점은 주목할 가치가 있습니다. 이를 통해 새로운 에이전트의 모델 세부 정보가 노출되는 것을 방지하면서 더 낮은 교육 비용으로 새로운 에이전트를 추가할 수 있습니다.

그림 3. HEAL의 전체 프레임워크

1단계: 협업 기본 클래스 훈련

우리는 장면 시작 부분에 존재하는 동형 에이전트를 협업 기본 클래스로 사용하고 기능 융합을 훈련합니다. 기반의 협업 센싱 네트워크. 우리는 여러 에이전트의 특징을 추출하고 융합하기 위한 새로운 피라미드 융합 네트워크를 제안합니다. 특히, 각 동형 에이전트의 인코더에 의해 인코딩된 BEV 특징에 대해 서로 다른 규모의 ResNeXt 네트워크의 여러 레이어를 통과하여 거친 입자를 추출합니다. 세분화된 기능 정보. 다양한 규모의 특징 맵의 경우 전경 예측 네트워크를 적용하여 BEV의 각 특징 위치에 차량과 같은 전경이 있을 확률을 추정합니다. 협력자 전체에 걸쳐 전경의 확률 맵은 특징 맵의 픽셀별 가중치 융합으로부터 가중치 분포로 정규화됩니다. 서로 다른 규모의 융합된 특징 맵을 얻은 후 일련의 업샘플링 네트워크를 사용하여 이를 동일한 특징 맵 크기로 변환하고 최종 융합된 특징 맵을 얻습니다.

그림 4. 피라미드 융합 네트워크

융합된 특징 맵은 탐지 헤드를 통과하여 최종 공동 탐지 결과로 변환됩니다. 협업 탐지 결과와 전경의 확률 맵은 모두 Ground-truth에 의해 감독됩니다. 훈련 후 협업 네트워크(피라미드 융합 네트워크)의 매개변수는 협업 기본 클래스의 관련 기능 정보를 저장하고 새로운 이종 에이전트의 후속 정렬을 위한 공유 기능 공간을 구성합니다.

2단계: 신규 에이전트 교육

새로운 이기종 에이전트 유형을 추가하는 것을 고려하고 있습니다. 우리는 새로운 역방향 정렬 방법을 제안합니다. 핵심 아이디어는 이전 단계의 피라미드 융합 네트워크와 감지 헤드를 새 에이전트의 감지 백엔드로 활용하고 프런트 엔드 인코더와 관련된 매개변수만 업데이트하는 것입니다.

새로운 이기종 카테고리의 단일 에이전트에 대해 단일 에이전트 교육을 수행하며 에이전트 간의 협업이 포함되지 않는다는 점은 주목할 가치가 있습니다. 따라서 피라미드 융합 네트워크의 입력은 한 단계의 다중 에이전트 기능 맵이 아닌 단일 기능 맵입니다. 사전 훈련된 피라미드 융합 모듈과 탐지 헤드가 백엔드로 설정되고 고정됨에 따라 훈련 프로세스는 프론트엔드 인코더를 백엔드의 매개변수에 적응하도록 진화하여 새 에이전트에 의해 인코딩된 기능이 통합 기능 공간과 일치합니다. 기능이 기존 에이전트의 기능과 일치하므로 고성능 기능 수준 협업을 달성할 수 있습니다.

역방향 정렬은 또한 고유한 이점을 보여줍니다. 즉, 새로운 단일 에이전트에 대해서만 훈련이 수행됩니다. 이는 새로운 에이전트가 추가될 때마다 훈련 비용과 시공간 동기화의 데이터 수집 비용을 크게 줄입니다. 또한, 새로운 에이전트의 모델 세부 정보가 다른 사람에게 노출되는 것을 방지하고, 새로운 에이전트의 소유자가 자신의 센서 데이터를 사용하여 모델을 훈련할 수 있도록 합니다. 이는 자동차 회사가 V2V(차량 간 감지 기술)를 배포할 때 가질 수 있는 많은 우려를 크게 해결할 것입니다.

실험 결과

OPV2V 데이터 세트를 기반으로 본 논문에서는 각 차량의 16라인 및 32라인 라이더 데이터와 4심도 카메라 데이터를 보완하여 보다 이질적인 OPV2V-H 데이터 세트를 제안합니다. OPV2V-H 데이터 세트와 실제 데이터 세트 DAIR-V2X에 대한 실험 결과는 HEAL이 이기종 에이전트가 협업에 참여하는 데 필요한 일련의 훈련 비용(훈련 매개변수, FLOP, 훈련 시간 등)을 크게 줄이고 또한 극도로 유지함을 보여줍니다. 높은 협업 탐지 성능.

그림 5. HEAL은 높은 성능과 낮은 훈련 비용을 모두 갖췄습니다

위치 지정 노이즈와 특징 압축이 있는 경우에도 HEAL은 여전히 ​​최고의 감지 성능을 유지하며, 이는 현실에 가까운 설정에서 현재 HEAL이 가장 우수함을 보여줍니다. 효과적인 협업 감지 알고리즘.

위 내용은 '구조' 개방형 이기종 시나리오 HEAL: 확장 가능한 최신 협업 감지 프레임워크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!