구현 가속화: 자율 주행의 엔드 투 엔드 모션 계획 모델 압축-일체 포함-php.cn

원제: On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving

논문 링크: https://arxiv.org/pdf/2403.01238.pdf

코드 링크: https://github .com/tulerfeng/PlanKD

저자 소속: 베이징 공과대학 ALLRIDE.AI 허베이성 빅 데이터 과학 및 지능 기술 핵심 연구소

구현 가속화: 자율 주행의 엔드 투 엔드 모션 계획 모델 압축

논문 아이디어

엔드 투 엔드 모션 계획 모델 탑재 심층신경망을 통해 완전자율주행 실현에 큰 잠재력을 보여주고 있습니다. 그러나 지나치게 큰 신경망으로 인해 리소스가 제한된 시스템에 배포하는 데 적합하지 않으며 의심할 여지 없이 더 많은 컴퓨팅 시간과 리소스가 필요합니다. 이 문제를 해결하기 위해 지식 증류는 더 작은 학생 모델이 더 큰 교사 모델에서 학습하도록 하여 모델을 압축함으로써 유망한 접근 방식을 제공합니다. 그럼에도 불구하고 압축 모션 플래너에 지식 증류를 적용하는 방법은 지금까지 탐구되지 않았습니다. 본 논문에서는 압축형 엔드투엔드 모션 플래너를 위해 맞춤화된 최초의 지식 증류 프레임워크인 PlanKD를 제안합니다. 첫째, 운전 시나리오는 본질적으로 복잡하고 계획과 관련이 없거나 심지어 시끄러운 정보를 포함하는 경우가 많기 때문에 학생 계획 담당자가 이 정보를 전송하는 것은 유익하지 않습니다. 따라서 본 논문에서는 모든 정보를 무분별하게 마이그레이션하는 대신 계획 관련 정보만 추출하는 정보 병목 현상을 기반으로 전략을 설계합니다. 둘째, 출력 계획 궤적의 다양한 웨이포인트는 모션 계획의 중요성이 다양할 수 있으며 일부 중요한 웨이포인트의 약간의 편차로 인해 충돌이 발생할 수 있습니다. 따라서 본 논문에서는 학생 모델이 보다 중요한 웨이포인트를 보다 정확하게 모방하도록 장려하여 전반적인 안전성을 향상시키기 위해 중요도에 따라 다양한 웨이포인트에 적응형 가중치를 할당하는 안전 인식 웨이포인트 주의 증류 모듈을 설계합니다. 실험에 따르면 PlanKD가 소규모 기획자의 성과를 크게 향상시키고 참조 시간을 크게 줄일 수 있는 것으로 나타났습니다.

주요 기여:

이 문서는 자율 주행에서 엔드 투 엔드 모션 플래너를 압축하기 위한 전용 지식 증류 방법을 탐색하려는 첫 번째 시도를 구축합니다.
이 논문에서는 학생 기획자가 계획 관련 지식을 중간 계층에서 계승하고 핵심 경유지의 정확한 매칭을 촉진하여 안전을 향상시킬 수 있는 일반적이고 혁신적인 프레임워크인 PlanKD를 제안합니다.
실험에 따르면 이 기사의 PlanKD는 소규모 계획자의 성능을 크게 향상시켜 제한된 리소스로 배포할 수 있는 보다 이식 가능하고 효율적인 솔루션을 제공할 수 있습니다.

네트워크 설계:

엔드투엔드 동작 계획은 최근 자율 주행에서 유망한 방향으로 떠오르고 있습니다[3, 10, 30, 31, 40, 47, 48]. 계획된 행동. 이 학습 기반 패러다임은 손으로 만든 규칙에 대한 의존도를 줄이고 복잡한 계단식 모듈(일반적으로 감지-추적-예측-계획) 내에서 오류 누적을 완화하는 이점을 보여줍니다[40, 48]. 성공에도 불구하고 모션 플래너의 심층 신경망 아키텍처는 에지 장치의 컴퓨팅 성능에 의존하는 자율 전달 로봇과 같이 리소스가 제한된 환경에 배포하는 데 어려움을 겪습니다. 더욱이 기존 차량에서도 탑재된 장치의 컴퓨팅 리소스는 제한적인 경우가 많습니다[34]. 따라서 심층적이고 대규모의 플래너를 직접 배포하려면 필연적으로 더 많은 컴퓨팅 시간과 리소스가 필요하므로 잠재적인 위험에 신속하게 대응하기가 어렵습니다. 이 문제를 완화하기 위한 간단한 접근 방식은 더 작은 백본 네트워크를 사용하여 네트워크 매개 변수 수를 줄이는 것입니다. 그러나 본 논문에서는 그림 1과 같이 종단 간 계획 모델의 성능이 급격히 떨어질 것으로 관찰합니다. 예를 들어, 대표적인 end-to-end 모션 플래너인 InterFuser[33]의 경우 추론 시간이 52.9M에서 26.3M로 감소했지만, Driving Score도 53.44에서 36.55로 떨어졌습니다. 따라서 end-to-end 모션 계획에 적합한 모델 압축 방법의 개발이 필요하다.

휴대용 모션 플래너를 얻기 위해 본 논문에서는 지식 증류[19]를 사용하여 엔드 투 엔드 모션 플래닝 모델을 압축합니다. 지식 증류(KD)는 객체 감지[6, 24], 의미론적 분할[18, 28] 등과 같은 다양한 작업에서 모델 압축을 위해 널리 연구되었습니다. 이러한 작업의 기본 아이디어는 더 큰 교사 모델로부터 지식을 상속하여 단순화된 학생 모델을 훈련하고 배포 중에 학생 모델을 사용하여 교사 모델을 대체하는 것입니다. 이러한 연구는 상당한 성공을 거두었지만 이를 엔드투엔드 동작 계획에 직접 적용하면 차선의 결과가 나옵니다. 이는 모션 계획 작업에 내재된 두 가지 새로운 과제에서 비롯됩니다. (i) 운전 시나리오는 여러 동적 및 정적 개체, 복잡한 배경 장면, 다면적인 도로 및 교통 정보를 포함한 다양한 정보를 포함하여 본질적으로 복잡합니다[46]. 그러나 이 정보 중 일부가 계획 수립에 유용한 것은 아닙니다. 예를 들어, 배경 건물과 먼 차량은 계획과 관련이 없거나 심지어 시끄러운 반면[41], 인근 차량과 신호등은 결정적인 영향을 미칩니다. 따라서 기존 KD 방식에서는 달성할 수 없었던 계획 관련 정보만 교사 모델에서 자동으로 추출하는 것이 중요합니다. (ii) 출력 계획 궤적의 다양한 중간점은 일반적으로 동작 계획에 대한 중요성이 다릅니다. 예를 들어, 교차로를 탐색할 때 다른 차량에 가까운 궤적의 웨이포인트는 다른 웨이포인트보다 중요도가 더 높을 수 있습니다. 이 지점에서는 자율주행차가 다른 차량과 적극적으로 상호작용해야 하는데, 작은 편차라도 충돌로 이어질 수 있기 때문이다. 그러나 핵심 웨이포인트를 적응적으로 결정하고 이를 정확하게 모방하는 방법은 이전 KD 방법의 또 다른 중요한 과제입니다.

위의 두 가지 문제를 해결하기 위해 본 논문에서는 압축 자율 주행의 엔드 투 엔드 모션 플래너를 위한 최초의 지식 증류 방법인 PlanKD를 제안합니다. 먼저, 본 논문에서는 최소한의 충분한 계획 정보가 포함된 계획 관련 특징을 추출하는 것을 목표로 하는 정보 병목 원리[2]에 기반한 전략을 제안합니다. 구체적으로 본 논문에서는 추출된 계획 관련 특징과 본 논문에서 정의한 계획 상태의 참값 간의 상호 정보를 최대화하고, 추출된 특징과 중간 특징 맵 간의 상호 정보를 최소화합니다. 이러한 전략을 통해 본 논문에서는 계획과 관련된 주요 정보를 중간 계층에서만 추출하여 학생 모델의 효율성을 높일 수 있다. 둘째, 핵심 웨이포인트를 동적으로 식별하고 이를 충실하게 모방하기 위해 본 논문에서는 각 웨이포인트와 해당 웨이포인트와 BEV(Bird's Eye View)의 관련 컨텍스트 사이의 Attention 가중치를 계산하는 Attention 메커니즘[38]을 채택합니다. 증류 중에 안전이 중요한 웨이포인트의 정확한 모방을 촉진하기 위해 움직이는 장애물에 가까운 웨이포인트에 더 높은 관심 가중치를 부여하도록 권장하는 안전 인식 순위 손실을 설계합니다. 이에 따라 학생 기획자의 보안이 대폭 강화될 수 있다. 그림 1에 표시된 증거는 PlanKD를 통해 학생 기획자의 운전 점수가 크게 향상될 수 있음을 보여줍니다. 또한, 우리의 방법은 Town05 Long Benchmark에서 교사 플래너와 비슷한 성능을 유지하면서 참조 시간을 약 50% 줄일 수 있습니다.

구현 가속화: 자율 주행의 엔드 투 엔드 모션 계획 모델 압축

그림 1. Town05 Long Benchmark[31]에서는 매개변수 수가 감소함에 따라 InterFuser[33]의 성능 저하를 보여주는 개략도입니다. PlanKD를 활용하면 컴팩트 모션 플래너의 성능을 향상하고 참조 시간을 크게 줄일 수 있습니다. 추론 시간은 서버의 GeForce RTX 3090 GPU에서 평가됩니다.

구현 가속화: 자율 주행의 엔드 투 엔드 모션 계획 모델 압축

그림 2. 이 기사의 PlanKD 프레임워크의 개략도. PlanKD는 정보 병목 현상(IB)을 통해 중간 기능 맵에서 계획 관련 기능을 추출하는 계획 관련 기능 증류 모듈과 주요 웨이포인트를 동적으로 결정하고 여기에서 지식을 추출하는 안전 인식 웨이포인트 주의 증류 모듈로 구성됩니다. 전반적인 보안을 강화합니다.

실험 결과:

구현 가속화: 자율 주행의 엔드 투 엔드 모션 계획 모델 압축

그림 3. 다양한 운전 시나리오에서 안전 인식 주의 가중치 시각화. 녹색 블록은 자가용 차량을 나타내고 노란색 블록은 다른 도로 사용자(예: 자동차, 자전거)를 나타냅니다. 웨이포인트가 빨간색일수록 주의 가중치가 높아집니다.

구현 가속화: 자율 주행의 엔드 투 엔드 모션 계획 모델 압축

요약:

본 논문은 압축형 엔드투엔드 모션 플래너를 위한 맞춤형 지식 증류 방법인 PlanKD를 제안합니다. 제안된 방법은 정보 병목 현상을 통해 계획 관련 특징을 학습하여 효과적인 특징 추출을 달성할 수 있습니다. 또한 본 논문에서는 웨이포인트 증류를 위한 각 웨이포인트의 중요성을 적응적으로 결정하기 위해 안전 인식 웨이포인트 주의 증류 메커니즘을 설계합니다. 광범위한 실험을 통해 우리 접근 방식의 효율성을 검증하고 PlanKD가 리소스가 제한된 배포를 위한 이식 가능하고 안전한 솔루션 역할을 할 수 있음을 보여줍니다.