엔드투엔드 자율주행의 궤도 안내를 위한 제어 예측: 간단하고 강력한 기본 방법 TCP

arXiv 논문 "엔드 투 엔드 자율 주행을 위한 궤도 기반 제어 예측: 간단하면서도 강력한 기준선", 2022년 6월, Shanghai AI Laboratory 및 Shanghai Jiao Tong University.

현재 엔드 투 엔드 자율 주행 방법은 계획된 궤적을 기반으로 컨트롤러를 실행하거나 두 가지 연구 영역에 걸쳐 제어 예측을 직접 수행합니다. 둘 사이의 잠재적인 상호 이익을 고려하여 이 기사에서는 TCP(Trajectory-guided Control Prediction)이라고 불리는 둘의 조합을 적극적으로 탐구합니다. 특히 앙상블 방법에는 궤도 계획과 직접 제어를 위한 두 가지 분기가 있습니다. 궤적 분기는 미래 궤적을 예측하는 반면, 제어 분기에는 현재 동작과 미래 상태 간의 관계를 추론하는 새로운 다단계 예측 방식이 포함됩니다. 두 가지 가지가 연결되어 제어 가지가 각 시간 단계에서 궤도 가지로부터 상응하는 안내를 받습니다. 그런 다음 두 분기의 출력이 융합되어 상호 보완적인 이점을 얻습니다.

도전적인 시나리오가 있는 폐쇄 루프 도시 주행 환경에서 Carla 시뮬레이터를 사용하여 평가해 보세요. 단안 카메라 입력에서도 이 방법은 CARLA 공식 순위에서 1위를 차지합니다. 소스 코드 및 데이터는 오픈 소스입니다: https://github.com/OpenPerceptionX/TCP

Roach 선택("강화 학습 코치를 모방하여 엔드 투 엔드 도시 운전 ". ICCV, 2021) 전문가로서. Roach는 도로, 차선, 경로, 차량, 보행자, 신호등 및 역을 포함한 특권 정보를 사용하여 RL로 훈련된 간단한 모델이며 모두 2D BEV 이미지로 렌더링됩니다. 이러한 학습 기반 전문가는 직접 만든 전문가에 비해 직접적인 감독 신호 외에도 더 많은 정보를 전달할 수 있습니다. 특히, student 모델의 최종 출력 헤드 이전의 잠재 특성이 전문가의 특성과 유사하도록 강제하는 특성 손실이 있습니다. 기대 수익을 예측하기 위한 학생 모델의 보조 작업으로 가치 손실도 추가됩니다.

그림에 표시된 것처럼 전체 아키텍처는 입력 인코딩 단계와 두 개의 후속 분기로 구성됩니다. 입력 이미지 i는 ResNet과 같은 CNN 기반 이미지 인코더를 통해 전달되어 특징 맵 F를 생성합니다. 동시에 내비게이션 정보 g는 현재 속도 v와 연결되어 측정 입력 m을 형성하고, MLP 기반 측정 인코더는 m을 입력으로 사용하여 측정 특징 jm을 출력합니다. 그런 다음 인코딩 기능은 후속 궤도 및 제어 예측을 위해 두 분기에서 공유됩니다. 특히 제어 분기는 궤적 분기의 안내를 받는 새로운 다단계 예측 설계입니다. 마지막으로 두 출력 패러다임의 장점을 결합하기 위해 시나리오 기반 융합 방식이 채택되었습니다.

그림과 같이 TCP는 인코딩된 특징 맵에서 중요한 정보를 추출하기 위해 Attention Map을 학습하여 Trajectory Planning Branch의 도움을 구합니다. 두 가지 가지(궤적 및 제어) 간의 상호 작용은 밀접하게 관련된 두 가지 출력 패러다임의 일관성을 향상시키고 MTL(다중 작업 학습)의 정신을 더욱 정교하게 만듭니다. 구체적으로, 이미지 인코더 F는 시간 단계 t에서 2D 특징 맵을 추출하는 데 사용되며 제어 분기와 궤도 분기의 해당 숨겨진 상태는 주의 맵을 계산하는 데 사용됩니다.

정보 표현 기능은 정책 헤더에 입력되며, 이는 모든 시간 t 단계에서 공유되어 해당 제어 조치를 예측합니다. 초기 단계에서는 측정된 특징만 초기 Attention Map 계산에 사용되며 Attention 이미지 특징은 측정된 특징과 결합되어 초기 특징 벡터를 형성합니다. 특성이 실제로 해당 단계의 상태를 설명하고 예측 제어를 위한 중요한 정보를 포함하도록 하기 위해 각 단계마다 특성 손실이 추가되어 초기 특성 벡터도 전문가의 특성에 가깝습니다.

TCP 프레임워크에는 궤적 계획과 예측 제어라는 두 가지 형태의 출력 표현이 있습니다. 추가 조합을 위해 알고리즘 1의 의사 코드와 같이 시나리오 기반 융합 전략이 설계되었습니다.

구체적으로 α는 0에서 0.5 사이의 값을 갖는 결합 가중치로 표시됩니다. 이전 믿음에 따르면 어떤 경우에는 가중치 α를 평균함으로써 궤적과 제어 예측이 결합됩니다. , 더 적합한 것이 더 많은 가중치(1 − α)를 차지합니다. 조합 가중치 α는 일정하거나 대칭일 필요가 없으며, 이는 상황에 따라 또는 특정 제어 신호에 따라 다른 값으로 설정될 수 있음을 의미합니다. 실험에서는 자율 차량이 회전하는지 여부에 따라 장면이 선택되었습니다. 즉, 방향을 바꾸면 해당 장면은 제어 관련 장면이고, 그렇지 않으면 궤도 특정 장면입니다.

실험 결과는 다음과 같습니다.

위 내용은 엔드투엔드 자율주행의 궤도 안내를 위한 제어 예측: 간단하고 강력한 기본 방법 TCP의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!