칭화대학교와 Ideal은 자율주행 능력을 향상시키기 위한 시각적 대형 언어 모델인 DriveVLM을 제안했습니다.

자율주행 분야에서는 GPT/Sora 등 대형 모델의 방향도 연구자들이 모색하고 있습니다.

제너레이티브 AI에 비해 자율주행 역시 최근 AI에서 가장 활발한 연구개발 분야 중 하나입니다. 완전 자율주행 시스템을 구축하는 데 있어 가장 큰 과제는 악천후, 복잡한 도로 레이아웃, 예측할 수 없는 인간 행동 등 복잡하고 예측할 수 없는 시나리오를 포함하는 AI의 장면 이해입니다.

현재 자율주행 시스템은 일반적으로 3D 인식, 동작 예측, 계획 세 부분으로 구성됩니다. 특히 3D 인식은 주로 친숙한 물체를 감지하고 추적하는 데 사용되지만 희귀한 물체와 그 속성을 식별하는 능력은 제한적입니다. 반면 모션 예측 및 계획은 주로 물체의 궤적 동작에 중점을 두지만 일반적으로 물체와 차량 간의 관계를 무시합니다. . 이러한 제한은 복잡한 교통 시나리오를 처리할 때 자율 주행 시스템의 정확성과 안전성에 영향을 미칠 수 있습니다. 따라서 미래의 자율주행 기술은 다양한 유형의 물체를 더 잘 식별하고 예측하고, 차량의 주행 경로를 보다 효과적으로 계획하여 시스템의 지능성과 신뢰성을 향상시킬 수 있도록 더욱 발전해야 합니다

자율주행 달성의 핵심은 목표입니다 데이터 기반 접근 방식을 지식 기반 접근 방식으로 전환하려면 논리적 추론 기능을 갖춘 대규모 모델을 훈련해야 합니다. 그래야만 자율주행 시스템이 롱테일 문제를 진정으로 해결하고 L4 역량을 향해 나아갈 수 있습니다. 현재 GPT4, 소라 등 대형 모델이 계속해서 등장하면서 스케일 효과 역시 강력한 퓨샷/제로샷 능력을 발휘하며 새로운 개발 방향을 고민하게 만들었다.

Tsinghua University Cross Information Institute와 Li Auto의 최신 연구 논문에서 DriveVLM이라는 새로운 모델을 소개했습니다. 이 모델은 생성 인공 지능 분야에서 등장하는 시각적 언어 모델(VLM)에서 영감을 받았습니다. DriveVLM은 시각적 이해 및 추론 분야에서 탁월한 능력을 입증했습니다.

이 작업은 업계 최초로 자율주행 속도 제어 시스템을 제안한 것으로, 그 방법은 주류 자율주행 프로세스와 논리적 사고 능력을 갖춘 대규모 모델 프로세스를 완벽하게 결합하고, 성공적으로 구현한 최초의 사례입니다. -테스트를 ​​위해 터미널에 모델을 확장합니다(Orin 플랫폼 기반).

DriveVLM은 시나리오 설명, 시나리오 분석, 계층적 계획이라는 세 가지 주요 모듈을 포함하는 CoT(사슬 연결) 프로세스를 다룹니다. 장면 설명 모듈에서 언어는 운전 환경을 설명하고 장면의 주요 개체를 식별하는 데 사용됩니다. 장면 분석 모듈은 이러한 주요 개체의 특성과 자율 차량에 미치는 영향을 심층적으로 연구하는 동시에 계층적 계획 모듈에서 점차적으로 계획을 수립합니다. 요소의 행동과 결정은 웨이포인트에 설명됩니다.

이러한 모듈은 기존 자율주행 시스템의 인식, 예측, 계획 단계에 해당하지만, 차이점은 과거에는 매우 어려웠던 객체 인식, 의도 수준 예측, 작업 수준 계획을 처리한다는 것입니다.

VLM은 시각적 이해 측면에서 뛰어난 성능을 발휘하지만 공간 기반 및 추론에 한계가 있으며 컴퓨팅 성능 요구 사항으로 인해 최종 추론 속도에 문제가 발생합니다. 따라서 저자는 DriveVLM과 기존 시스템의 장점을 결합한 하이브리드 시스템인 DriveVLMDual을 추가로 제안합니다. DriveVLM-Dual은 선택적으로 DriveVLM을 3D 개체 감지기, 점유 네트워크 및 모션 플래너와 같은 기존 3D 인식 및 계획 모듈과 통합하여 시스템이 3D 접지 및 고주파 계획 기능을 달성할 수 있도록 합니다. 이 이중 시스템 설계는 인간 두뇌의 느리고 빠른 사고 과정과 유사하며 운전 시나리오의 다양한 복잡성에 효과적으로 적응할 수 있습니다.

새로운 연구는 또한 장면 이해 및 계획(SUP) 작업의 정의를 더욱 명확하게 하고 장면 분석 및 메타 작업 계획에서 DriveVLM 및 DriveVLM-Dual의 기능을 평가하기 위한 몇 가지 새로운 평가 지표를 제안합니다. 또한 저자는 SUP 작업을 위한 내부 SUP-AD 데이터 세트를 구축하기 위해 광범위한 데이터 마이닝 및 주석 작업을 수행했습니다.

nuScenes 데이터세트와 자체 데이터세트에 대한 광범위한 실험은 특히 적은 수의 샷에서 DriveVLM의 우수성을 보여줍니다. 또한 DriveVLM-Dual은 최첨단 엔드 투 엔드 모션 계획 방법을 능가합니다.

논문 "DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models"

논문 링크: https://arxiv.org/abs/2402.12289

프로젝트 링크: https://tsinghua-mars- lab.github.io/DriveVLM/

DriveVLM의 전체 프로세스는 그림 1에 나와 있습니다.

1. 연속 프레임 시각적 이미지를 인코딩하고 기능 정렬 모듈을 통해 LMM과 상호 작용합니다.

2. 장면 설명에서 시작 VLM 모델을 생각하여 시간, 장면, 차선 환경 등의 정적인 장면을 먼저 안내한 다음 운전 결정에 영향을 미치는 주요 장애물을 안내합니다.

3. 전통적인 3D 감지를 통해 주요 장애물을 분석하고 일치시킵니다. VLM이 이해하는 장애물, 장애물의 효과를 더욱 확인하고 환상을 제거하고, 이 장면의 주요 장애물의 특성과 그것이 운전에 미치는 영향을 설명합니다.

4. 감속, 주차, 좌회전, 우회전 등 핵심 '메타 결정'을 제시하고, 메타 결정에 따른 운전 전략을 설명하고, 마지막으로 미래 운전 궤적을 제시합니다. 호스트 차량.

^{그림 1. DriveVLM 및 DriveVLM-이중 모델 파이프라인. 일련의 이미지는 대형 시각적 언어 모델(VLM)에 의해 처리되어 특별한 CoT(사고 연쇄) 추론을 수행하여 운전 계획 결과를 도출합니다. 대형 VLM에는 시각적 변환기 인코더와 LLM(대형 언어 모델)이 포함됩니다. 시각적 인코더는 이미지 태그를 생성한 다음 이러한 태그를 LLM과 정렬하고 마지막으로 LLM이 CoT 추론을 수행합니다. CoT 프로세스는 시나리오 설명, 시나리오 분석, 계층적 계획의 세 가지 모듈로 나눌 수 있습니다.}

DriveVLM-Dual은 DriveVLM의 환경에 대한 포괄적인 이해와 의사결정 궤적 제안을 활용하여 기존 자율주행 파이프라인의 의사결정 및 계획 능력을 향상시키는 하이브리드 시스템입니다. 3D 인식 결과를 언어적 신호에 통합하여 3D 장면 이해를 향상시키고 실시간 모션 플래너를 통해 궤적 웨이포인트를 더욱 구체화합니다.

VLM은 롱테일 개체를 식별하고 복잡한 장면을 이해하는 데 능숙하지만 개체의 공간적 위치와 세부적인 동작 상태를 정확하게 이해하는 데 어려움을 겪는 경우가 많으며 이는 심각한 문제를 야기하는 단점입니다. 설상가상으로 VLM의 거대한 모델 크기로 인해 대기 시간이 길어져 자율 주행의 실시간 응답 기능이 저하됩니다. 이러한 문제를 해결하기 위해 저자는 DriveVLM과 기존 자율 주행 시스템이 협력할 수 있는 DriveVLM-Dual을 제안합니다. 이 새로운 접근 방식에는 두 가지 주요 전략이 포함됩니다. 주요 객체 분석과 3D 인식을 결합하여 고차원 운전 결정 정보를 제공하는 것과 고주파 궤적 개선입니다.

또한 복잡하고 롱테일 주행 시나리오를 처리하는 데 있어 DriveVLM 및 DriveVLMDual의 잠재력을 완전히 실현하기 위해 연구원들은 장면 이해 계획이라는 작업과 일련의 평가 지표를 공식적으로 정의했습니다. 또한 저자는 장면 이해 및 계획 데이터 세트를 관리하기 위해 데이터 마이닝 및 주석 프로토콜을 제안합니다.

모델을 완전히 훈련하기 위해 저자는 자동화된 마이닝, 지각 알고리즘 사전 브러싱, GPT-4 대형 모델 요약 및 수동 주석의 조합을 통해 Drive LLM 주석 도구 및 주석 솔루션 세트를 새로 개발했습니다. 현재 모델은 이러한 효율적인 주석 체계를 통해 각 클립 데이터에 수십 개의 주석 내용이 포함되어 있습니다. -그림 2. SUP-AD 데이터 세트의 공지 샘플.

저자는 또한 100,000개 이상의 이미지와 1000,000개 이상의 이미지를 포함하는 제안된 작업에 대한 SUP-AD(Scene Understanding for Planning in Autonomous Driving) 데이터 세트를 구축하기 위해 그림 3과 같이 포괄적인 데이터 마이닝 및 주석 파이프라인을 제안했습니다. 텍스트 쌍. 구체적으로, 저자는 먼저 롱테일 개체 마이닝과 까다로운 장면 마이닝을 수행하여 대규모 데이터베이스에서 샘플을 수집한 다음 각 샘플에서 키프레임을 선택하고 장면 주석을 추가로 수행합니다.

그림 3. 시나리오 이해 및 데이터 세트 계획을 구축하기 위한 데이터 마이닝 및 주석 파이프라인(위). 데이터 세트(아래)에서 무작위로 샘플링된 시나리오의 예는 데이터 세트의 다양성과 복잡성을 보여줍니다.

SUP-AD는 7.5:1:1.5의 비율로 훈련, 검증, 테스트 부분으로 나누어집니다. 저자는 훈련 분할에서 모델을 훈련하고 새로 제안된 장면 설명 및 메타 작업 측정항목을 사용하여 검증/테스트 분할에서 모델 성능을 평가합니다.

nuScenes 데이터세트는 각각 약 20초 동안 지속되는 1000개의 장면으로 구성된 대규모 도시 장면 주행 데이터세트입니다. 키프레임은 전체 데이터세트에 걸쳐 2Hz로 균일하게 주석이 추가됩니다. 여기서 저자는 검증 세분화에 대한 모델 성능을 평가하기 위한 지표로 변위 오류(DE)와 충돌률(CR)을 채택했습니다. 저자는 표 1과 같이 여러 대규모 시각적 언어 모델을 사용하여 DriveVLM의 성능을 시연하고 이를 GPT-4V와 비교합니다. DriveVLM은 Qwen-VL을 백본으로 활용하여 다른 오픈 소스 VLM에 비해 최고의 성능을 달성하고 응답성과 유연한 상호 작용이 특징입니다. 처음 두 개의 대형 모델은 오픈 소스였으며 미세 조정 교육에 동일한 데이터를 사용했습니다. GPT-4V는 신속한 엔지니어링을 위해 복잡한 프롬프트를 사용합니다.

                                      ^{표 1. SUP-AD 데이터세트의 테스트 세트 결과. 여기에는 GPT-4V의 공식 API가 사용되며 Lynx 및 CogVLM의 경우 훈련 분할이 미세 조정에 사용됩니다.}

표 2에서 볼 수 있듯이 DriveVLM-Dual은 VAD와 함께 사용하면 nuScenes 계획 작업에서 최첨단 성능을 달성합니다. 이는 새로운 방법이 복잡한 장면을 이해하기 위해 맞춤화되었지만 일반적인 장면에서도 잘 수행된다는 것을 보여줍니다. DriveVLM-Dual은 UniAD에 비해 크게 향상되었습니다. 평균 계획 변위 오류는 0.64미터 감소하고 충돌률은 51% 감소합니다.

^{표 2. nuScenes 검증 데이터 세트에 대한 계획 결과. DriveVLM-Dual은 최적의 성능을 달성합니다. †Uni-AD를 이용한 인식 및 점유 예측 결과를 나타냅니다. ‡ 모든 모델이 자아 상태를 입력으로 사용하는 VAD 작업을 나타냅니다. 그림 4. DriveVLM의 정성적 결과. 주황색 곡선은 다음 3초 동안 모델이 계획한 미래 궤적을 나타냅니다.}

DriveVLM의 정성적 결과는 그림 4에 나와 있습니다. 그림 4a에서 DriveVLM은 우리에게 접근하는 자전거 운전자에 대한 사려 깊은 계획 결정과 결합하여 현재 장면 조건을 정확하게 예측합니다. DriveVLM은 또한 전방 교통 경찰의 수신호를 효과적으로 이해하여 자율주행차에 진행하라는 신호를 보내고 올바른 운전 결정을 내릴 수 있도록 오른쪽에 세발자전거를 타는 사람도 고려합니다. 이러한 정성적 결과는 복잡한 시나리오를 이해하고 적절한 운전 계획을 개발하는 DriveVLM 모델의 뛰어난 능력을 보여줍니다. ㅋㅋㅋ ~ -그림 9. 젖소 클러스터 및 무리의 Sup-AD 데이터 집중. 소 떼가 차 앞에서 천천히 움직이고 있기 때문에 차가 천천히 움직이고 있다고 추론하고 소와 안전한 거리를 유지하는 정책이 필요합니다. 그림 16. DriveVLM 출력 시각화. DriveVLM은 쓰러진 나무와 그 위치를 정확하게 감지한 다음 적절한 우회 경로를 계획할 수 있습니다.

위 내용은 칭화대학교와 Ideal은 자율주행 능력을 향상시키기 위한 시각적 대형 언어 모델인 DriveVLM을 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!