ST-P3: 자율주행을 위한 엔드투엔드 시공간 특징 학습 비전 방법

arXiv 논문 "ST-P3: 공간-시간적 특징 학습을 통한 엔드 투 엔드 비전 기반 자율 주행", 7월 22일, Shanghai Jiao Tong University, Shanghai AI Laboratory, University of California San Diego 및 JD의 베이징 연구 저자 .com 병원.

ST-P3라고 하는 인식, 예측 및 계획 작업을 위한 보다 대표적인 기능 세트를 동시에 제공할 수 있는 시공간 기능 학습 방식을 제안합니다. 구체적으로, BEV 변환을 감지하기 전에 3차원 공간에 기하학적 정보를 유지하기 위한 자기 중심 정렬 축적 기술이 제안되었습니다. 저자는 미래 예측을 위해 과거 모션 변화를 고려하는 이중 경로 모델을 설계합니다. 계획된 시각적 요소 인식을 보완하기 위해 개선 단위가 도입되었습니다. 소스 코드, 모델 및 프로토콜 세부 사항 오픈 소스 https://github.com/OpenPercepti onX/ST-P3 .

깊이를 통해 다시점 카메라에서 원근 특징을 추출하는 선구적인 LSS 방법입니다. 3D로 업그레이드되어 BEV 공간에 통합될 것으로 추정됩니다. 잠재 깊이 예측이 중요한 두 뷰 간의 기능 변환.

2차원 평면 정보를 3차원으로 업그레이드하려면 추가적인 차원, 즉 3차원 기하학적 자율 주행 작업에 적합한 깊이가 필요합니다. 특징 표현을 더욱 향상시키려면 대부분의 장면이 비디오 소스를 사용하므로 시간 정보를 프레임워크에 통합하는 것이 당연합니다.

그림에 설명된 대로ST-P3전체 프레임워크: 구체적으로 주변 카메라 비디오 세트가 주어지면 이를 백본에 입력하여 예비 전면 뷰 기능을 생성합니다. 2D 기능을 3D 공간으로 변환하기 위해 보조 깊이 추정을 수행합니다. 자체 중심 정렬 누적 방식은 먼저 과거 피처를 현재 뷰 좌표계에 정렬합니다. 그런 다음 현재 및 과거 기능을 3차원 공간에 집계하여 BEV 표현으로 변환하기 전에 기하학적 정보를 보존합니다. 일반적으로 사용되는 예측시간 영역 모델에 더해 과거 동작 변화를 설명하는 두 번째 경로를 구성하여 성능을 더욱 향상시킵니다. 이 이중 경로 모델링은 향후 의미론적 결과를 추론할 수 있는 강력한 기능 표현을 보장합니다. 궤적 계획이라는 궁극적인 목표를 달성하기 위해 네트워크에 대한 초기 기능 사전 지식이 통합됩니다. HD 맵이 없는 경우 고급 명령을 사용하여 최종 궤적을 생성하도록 개선 모듈이 설계되었습니다.

그림에 보이는 것과 같이

지각의 자기중심적 정렬 축적 방법이 있습니다. (a) 깊이 추정을 활용하여 현재 타임스탬프의 특징을 3D로 올리고 정렬 후 BEV 특징으로 병합합니다. (b-c) 이전 프레임의 3D 특징을 현재 프레임 뷰와 정렬하고 모든 과거 및 현재 상태와 융합합니다. 기능 표현 향상.

그림에 표시된 대로

예측을 위한 양방향 모델이 있습니다. (i) 잠재 코드는 특성 맵의 분포입니다. (ii iii) a는 불확실성 분포를 결합하여 미래 다중을 나타냅니다. -양식, 그리고 경로 b는 과거 변화로부터 학습하여 경로 a의 정보를 보완하는 데 도움이 됩니다.

최종 목표로는 목표 지점에 도달하기 위해 안전하고 편안한 궤적을 계획해야 합니다. 이 모션 플래너는 다양한 궤적 세트를 샘플링하고 학습된 비용 함수를 최소화하는 궤적을 선택합니다. 그러나 시간 영역 모델을 통해 대상 지점과 신호등의 정보를 통합하면 추가적인 최적화 단계가 추가됩니다.

그림에 표시된 것처럼

계획에 대한 사전 지식의 통합 및 개선입니다. 전체 비용 다이어그램에는 두 가지 하위 비용이 포함됩니다. 카메라 입력에서 비전 기반 정보를 집계하는 미래 지향적 기능을 사용하여 최소 비용 궤적을 더욱 재정의합니다.

큰 측면 가속도, 저크 또는 곡률로 궤적에 페널티를 적용합니다. 바라건대, 이 궤도가 목적지에 효율적으로 도달하여 앞으로의 진전이 보상을 받을 것입니다. 다만, 위의 비용 항목에는 일반적으로 노선도에서 제공하는 대상 정보가 포함되어 있지 않습니다. 전진, 좌회전, 우회전 등의 고급 명령을 사용하고 해당 명령에 따라서만 궤적을 평가합니다.

또한 신호등은 SDV가 GRU 네트워크를 통해 궤적을 최적화하는 데 매우 중요합니다. 은닉 상태는 인코더 모듈의 전면 카메라 기능으로 초기화되며 비용 항의 각 샘플 포인트가 입력으로 사용됩니다.

실험 결과는 다음과 같습니다.

위 내용은 ST-P3: 자율주행을 위한 엔드투엔드 시공간 특징 학습 비전 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!