'엔드 투 엔드(end-to-end)' 대회에 참가하기에 이상적입니다. 비록 단순한 PPT일지라도

엔드 투 엔드 경쟁은 오늘날 기술 분야에서 주목받는 추세입니다. Li Auto가 이러한 측면에서 변화를 만들고 있습니까? PHP 편집자 Youzi는 PPT 디스플레이부터 실제 구현까지 Li Auto의 엔드투엔드 레이아웃에 대해 심도 있는 논의를 제공하여 단서를 탐색합니다.

'엔드 투 엔드(end-to-end)' 트렌드가 중국의 스마트 드라이빙 산업을 휩쓸고 있습니다.

2024년 하반기에 접어들면서 어느 자동차 회사라도 지능형 운전을 이야기할 때 '엔드 투 엔드'를 언급하지 않는다면 뒤처지는 것으로 간주될 가능성이 높습니다.

7월 5일 Li Auto는 엔드 투 엔드 모델, VLM 시각적 언어 모델 및 세계 모델을 기반으로 하는 새로운 자율 주행 기술 아키텍처를 출시했습니다. 이는 기본적으로 Ideal Auto의 엔드투엔드 경로에 대한 방법론적 출력으로, Ideal Intelligent Driving의 다음 개발 경로를 더욱 완전하게 제시합니다.

Hhuxiu Automobile의 관점에서 이번 릴리스에서 주목할 만한 세 가지 주요 초점이 있습니다. - 이상적인 "엔드 투 엔드"는 다른 플레이어와 어떻게 다릅니까? 이상적인 스마트 드라이빙의 발전은 어디까지 도달했나요? 그리고, 아이디얼이 이때 지능형 주행의 기술적 역량을 강조하는 이유는 무엇일까?

화웨이에 비해 아이디얼의 솔루션은 더 파격적입니다

아이디얼의 새로운 자율주행 기술 아키텍처를 먼저 살펴보겠습니다. 노벨상 수상자인 다니엘 카너먼(Daniel Kahneman)의 빠르고 느린 시스템 이론에서 영감을 받아 협업을 위해 '빠른 시스템'과 '느린 시스템'을 활용해 자율주행 분야에서 인간의 사고와 의사결정 과정을 시뮬레이션한다.

시스템 1이라고도 알려진 빠른 시스템은 간단한 작업을 처리하는 데 능숙합니다. 이는 경험과 습관을 바탕으로 형성된 인간의 직관으로, 차량을 운전할 때 일상적인 상황의 95%를 처리하기에 충분합니다.

시스템 2라고도 알려진 느린 시스템은 인간이 더 깊은 이해와 학습을 통해 형성한 논리적 추론, 복잡한 분석 및 컴퓨팅 능력으로, 차량 운전, 회계 시 복잡하거나 심지어 알려지지 않은 교통 상황을 해결하는 데 사용됩니다. 일일 운전의 50%에 대해 약 5%.

이 아키텍처 프로토타입에서 시스템 1은 센서 입력을 받아 차량 제어를 위한 주행 궤적을 직접 출력하는 엔드 투 엔드 모델로 구현됩니다. 시스템 2는 VLM 시각 언어 모델로 구현되며, 센서 입력을 받은 후 논리적 사고를 거쳐 의사 결정 정보를 시스템 1에 출력합니다. 듀얼 시스템으로 구성된 자율주행 능력은 클라우드 내 월드 모델을 활용해 훈련 및 검증된다.

이상 이론에 따르면 System 1의 End-to-End 모델은 주로 카메라와 LiDAR로 구성된 One Model 솔루션을 채택합니다. 다중 센서 기능은 CNN 백본 네트워크에 의해 추출 및 융합되어 투영됩니다. BEV 공간으로

또한 Ideal은 입력단에 차량 상태 정보 및 내비게이션 정보도 추가합니다. Transformer 모델로 인코딩한 후 BEV 기능으로 디코딩하여 동적 장애물, 도로 구조 및 일반 장애물을 디코딩하고 주행 궤적을 계획합니다.

Huawei, Xpeng 등 제조업체가 채택한 세분화된 엔드 투 엔드 솔루션에 비해 Ideal이 채택한 One Model 솔루션은 더 급진적입니다. Tesla도 One Model 솔루션이지만 '입력 이미지, 출력 제어' 솔루션은 이상적인 '입력 센서 정보, 출력 구동 궤적'보다 더 나아갑니다.

현재 다양한 제조사가 사용하는 End-to-End 경로는 선택의 차이일 뿐, 장점과 단점의 구분이 없다는 점을 지적해야 합니다. (엔드 투 엔드 기술 원리에 대해서는 Huxiu 자동차 팀이 "Tesla가 Huawei와 전쟁을 벌일 것입니다"라는 기사에서 자세한 분석을 제공했습니다.)

이 이상적인 아키텍처의 특별한 점은 실제로 System 2입니다. VLM 시각 언어 모델의 알고리즘 아키텍처는 Prompt(프롬프트 단어) 텍스트를 Tokenizer(워드 분할기)로 인코딩하고, 전방 카메라 이미지의 시각 정보와 내비게이션 지도 정보를 인코딩하는 통합 Transformer 모델로 구성됩니다. 그런 다음 이미지와 텍스트를 사용하여 시각적 정보를 인코딩합니다. 정렬 모듈은 모달 정렬을 수행하고 최종적으로 통합된 자동 회귀 추론을 수행하고 환경에 대한 이해, 운전 결정 및 운전 궤적을 출력하고 이를 시스템 1에 전달하여 지원합니다. 차량을 제어합니다.

실제 시나리오에서 시스템 2는 운전 중 노면이 매우 울퉁불퉁하고 울퉁불퉁한 것을 발견하면 시스템 1에 속도 감소 알림을 보내고 전방의 움푹 들어간 도로에 있는 차량이 천천히 운전할 것임을 운전자에게 알려 범프를 줄입니다. 또는 버스차로의 위치를 ​​식별하고 갯벌차로 등을 식별할 수 있습니다.

이상적으로 말하면 시스템 2는 운전 학교 강사가 부조종사 좌석에 앉아 항상 운전 행동을 모니터링하는 것과 같습니다. Xpeng의 대규모 언어 모델 XBrain과 Haomo의 대규모 자율주행 의미 인식 모델도 비슷한 기능을 가지고 있다는 점은 언급할 가치가 있습니다.

이상적인 VLM 모델 매개변수 양은 22억 개에 달하는 것으로 보고되었으며, 차량 측 VLM 모델의 추론 시간도 4.1초에서 0.3초로 최적화되었습니다.

Ideal은 듀얼 시스템 외에도 End-to-End 솔루션의 테스트 및 검증 방법도 도입했습니다. 업계의 주류 접근 방식은 3D 가상 환경, 재구성 시뮬레이션, 생성 시뮬레이션 등을 통해 시뮬레이션 테스트를 수행하는 것입니다. 이상적인 접근 방식은 재구성된 시뮬레이션과 생성된 시뮬레이션의 두 가지 기술 경로를 결합하는 것입니다. 이는 실제 질문을 재구성하고 시뮬레이션된 질문을 생성하는 것과 같습니다.

실제로 Tesla는 World Model을 만들기 위해 대형 모델을 사용하기도 하며, 자율주행 회사인 Wayve의 대형 자율주행 모델 GAIA-1(이미 90억 개의 매개변수 보유)도 운전 장면 동영상을 생성하고 시나리오를 설명하고 예측할 수 있습니다.

일반적으로 이상적인 기술 아키텍처는 차량 측에 이중 시스템을 배포하는 것입니다. ONE 모델의 엔드투엔드 모델을 통해 자율 주행 시스템이 숙련된 인간 운전자처럼 작동할 수 있습니다. 운전 시스템은 인간과 동일한 논리적 사고 능력을 갖고 있는 반면, 월드 모델은 학습 및 시험 환경을 제공하고 빠른 반복 능력을 갖추고 있습니다.

Lili Intelligent Driving의 책임자인 Lang Xianpeng에 따르면, 자사의 엔드투엔드 솔루션은 내부적으로 인큐베이션되어 작년 하반기부터 사전 연구를 시작했으며 현재 모델의 프로토타입 검증과 실제 배포를 완료했습니다. 차량.

그러나 이 솔루션은 여전히 ​​사용자에게 전달하기 어렵습니다. 이번 달 AD Max 사용자에게 이상적인 솔루션은 이미지 없는 NOA 솔루션을 추진하는 것입니다.

지능형 주행이 추월의 순간을 부르고 있습니다

"End-to-End"는 다양한 제조사가 지능형 주행을 추구하는 데 중요한 방향으로 자리 잡고 있습니다.

올해 3월 Yuanrong Qixing은 버스에 엔드투엔드 모델을 성공적으로 탑재할 수 있었습니다. Huawei는 4월에 Qiankun 3.0을 출시했을 때 기술이 새로운 GOD/PDP 네트워크 아키텍처로 전환되었다고 밝혔습니다. 네트워크에 대한 사전 결정 계획 Xpeng 5 지난 3월 AI DAY에서 엔드투엔드 대형 모델이 대량 생산에 들어갔다고 발표되었습니다. 또한 Weilai, Xiaomi, Xpeng 및 기타 제조업체를 포함한 제조업체는 스마트 운전 팀을 조정하여 엔드투엔드 레이아웃을 수행했습니다.

현재 Tesla를 비롯한 다양한 제조업체가 End-to-End 기술 방향을 모색하고 있음을 알 수 있습니다. 옵션과 경로는 다르지만 확실한 것은 end-to-end 기술입니다. 지능형 운전의 방향이 되었습니다.

하지만 엔드 투 엔드는 지능형 주행 시스템의 상한과 하한을 증폭시키겠지만, 동시에 해결하기 어려운 보안 문제도 야기합니다. 해석이 불가능한 블랙박스는 보안상의 위험을 수반합니다.

다양한 회사들이 레이아웃을 두고 경쟁하는 가운데, Ideal은 자동차 회사 최초로 엔드투엔드 기술 솔루션을 공개했습니다. Li Xiang은 지난달 충칭 포럼에서 두 가지 주요 시스템을 직접 공개해 업계에서 열띤 논의를 불러일으켰습니다. 이번에는 철이 뜨거울 때 파격적이라고 할 수 있는 기술 아키텍처 계획 전체도 발표했습니다.

리디알이 하반기 신제품을 출시하지 않는다는 점을 고려하면, 스마트 드라이빙 역량을 첫 번째로 내놓는 것은 회사의 인기를 유지할 수 있을 뿐만 아니라, 기존 제품의 경쟁력도 유지할 수 있을 것으로 보인다. 또한 엔드투엔드 기술 경로의 레이아웃은 Ideal이 지능형 주행 기능을 따라잡을 수 있는 기회도 제공합니다.

Huawei, Xiaopeng 등이 채택한 세분화된 엔드 투 엔드 접근 방식에 비해 이상적인 엔드 투 엔드 모델은 PPT에서 대량 생산으로 전환하는 데 얼마나 걸리며 어떻게 구현하기가 더 어렵습니다. 효과적인가요? 여전히 관찰을 유지해야 합니다.

첸타오캐피탈이 발표한 '엔드투엔드 자율주행 산업 연구 보고서'에 따르면 국내 자율주행 기업의 모듈러 엔드투엔드 솔루션은 2025년 양산에 들어갈 수 있다고 한다. 노새나 말이고, 내년에는 산책하러 나가야 할 때입니다.

기사 내용 신고

본 글은 ㈜콰이테크놀로지에서 전재한 것입니다. 이 글은 작성자의 개인적인 견해일 뿐입니다

위 내용은 '엔드 투 엔드(end-to-end)' 대회에 참가하기에 이상적입니다. 비록 단순한 PPT일지라도의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!