기대되는 기능안전성 시나리오 라이브러리의 복합정량화 방법 연구
Pegasus 장면 레이어링 시스템을 기반으로 장면 데이터의 품질을 평가하기 위해 장면 복잡도에 대한 정량적 방법을 제안합니다. 이 방법은 각 레이어의 요소들의 행렬식을 결정하고, 이를 기반으로 각 레이어의 요소 복잡도를 결정하고, 각 레이어의 요소 복잡도의 합을 계산하여 장면 데이터의 전체 복잡도를 구하는 방법이다. 또한, "과잉 복잡도" 현상을 방지하기 위해 "모자 라이브러리" 방법과 "시스템 시나리오 확률" 방법을 제안합니다. 수정된 복잡도를 구합니다. 연구 결과는 이러한 방법을 통해 합리적이고 사용 가능한 장면 라이브러리를 구축할 수 있음을 보여준다.
자율주행차의 안전 문제로 인한 위험의 주요 원인은 두 가지 측면을 포함합니다. (1) 전자 및 전기 고장 또는 소프트웨어 시스템 고장으로 인한 피해. 이러한 이유로 ISO는 ISO26262 "도로 차량 - 기능 안전 표준"을 제안한 반면, 중국은 이에 상응하는 GB/T 34590 "도로 차량 - 기능 안전 표준"을 제안했습니다. (2) 불충분한 시스템 성능 또는 합리적으로 예측 가능한 인간의 오용으로 인해 발생하는 피해. 이러한 이유로 ISO는 SOTIF 표준이라고 하는 ISO/PAS 21448 의도된 기능의 안전성을 제안했습니다.
SOTIF 표준에서는 자율주행차가 운전할 때 직면하는 시나리오를 그림 1과 같이 알려진 안전 시나리오, 알려진 안전하지 않은 시나리오, 알려지지 않은 안전 시나리오, 알려지지 않은 안전하지 않은 시나리오의 4가지 범주로 나눕니다. 알려진 보안 시나리오와 알려지지 않은 보안 시나리오의 경우 SOTIF 표준에서는 아무런 주의도 기울이지 않습니다. 알려진 위험 시나리오에 대해 SOTIF 표준은 방법론을 제안합니다. 자율주행차 관련 시스템의 성능을 향상시키거나 관련 시스템의 동작 영역을 축소하고, 관련 시나리오 라이브러리를 기반으로 테스트 및 검증을 수행하는 것, 즉 알려진 위험 시나리오를 알려진 안전한 시나리오로 변환하는 것이 목적이다.
알 수 없는 위험 시나리오의 경우, 시나리오 라이브러리를 기반으로 수많은 실험을 수행하여 관련 시스템에서 잠재적인 안전 위험 시나리오를 발견하고 감지할 수 있습니다. 즉, 알려지지 않은 위험 시나리오를 알려진 위험 시나리오로 변환할 수 있습니다. 마지막으로 위의 방법론을 기반으로 알려진 위험 시나리오를 알려진 안전한 시나리오로 변환합니다. 즉, SOTIF 표준의 목표는 자율주행차 관련 시스템이 주행 시 직면하는 알려진 안전 및 알려지지 않은 안전 시나리오의 범위를 최대한 확장하여 알려진 위험과 알려지지 않은 위험 시나리오의 범위를 최대한 줄이는 것입니다. , 그림 2에 표시된 것처럼. 위의 목표를 달성하기 위한 핵심 요소 중 하나는 예상되는 기능 안전 시나리오의 고품질 라이브러리를 구축하는 것입니다.
현재 많은 기업과 조직에서는 예상되는 기능 안전 시나리오에 대한 자체 라이브러리를 구축했습니다. 예: Kitti 장면 라이브러리, NuScenes[6] 장면 라이브러리, Lyft 자율주행차 장면 라이브러리 등 대부분의 기업과 기관은 장면 라이브러리 구축 과정에서 장면 라이브러리 데이터 수집에 중점을 두고 있지만, 수집된 장면 데이터의 품질에 대한 합리적인 정량적 지표가 부족합니다.
이것은 의심할 바 없이 두 가지 문제를 야기합니다:
(1) 장면 라이브러리에는 대량의 반복적이고 품질이 낮은 장면 데이터가 포함되어 장면 라이브러리 기반 테스트 시간이 너무 길어질 수 있습니다. 자율주행조차 발견할 수 없다. 자동차의 성능 결함으로 인해 테스트 결과의 신뢰성이 떨어진다.
(2) 서로 다른 장면 라이브러리 간의 장단점을 비교할 수 없으므로 자율주행차 장면 라이브러리 테스트를 위한 최적의 장면 라이브러리 데이터를 선택할 수 없습니다. 따라서 장면 라이브러리의 품질을 정량화하기 위해서는 과학적이고 합리적인 방법을 채택하는 것이 매우 필요합니다. 장면 데이터가 복잡할수록 관련 시스템에 대한 도전 과제가 커지고 관련 시스템의 성능 결함을 감지할 가능성도 커집니다. 따라서 장면 데이터의 복잡성은 장면 라이브러리의 품질에 영향을 미치는 핵심 요소 중 하나라고 볼 수 있다.
이 글에서는 장면 데이터의 복잡성을 정량화하는 방법을 제안합니다. 이 방법은 독일 Pegasus 프로젝트의 Scene Layering 시스템을 기반으로 하며, 장면 내 요소를 분류하고 계산하여 장면 데이터의 요소 복잡도를 계산하고 장면 데이터의 품질을 평가합니다.
1 Pegasus Scene Layered System
Pegasus 프로젝트는 자율주행차와 관련된 일련의 테스트 표준을 개발하기 위해 독일 자동차 산업의 관련 기업 및 연구 기관이 공동으로 추진한 프로젝트입니다. 이 프로젝트는 장면 레이어링 시스템을 제안합니다. 즉, 장면은 서로 다른 장면 요소에 따라 장면의 6개 레이어로 구분됩니다(표 1 참조).
장면 데이터는 그림 3에 나와 있습니다. Pegasus 장면 계층화 시스템을 기반으로 장면 데이터를 계층화할 수 있습니다(표 2 참조).
2 장면 데이터의 복잡한 수량화 방법
Pegasus 장면 계층화 시스템은 장면 요소를 계층화합니다. 이 기사에서는 각 레이어의 요소를 추가로 분석하고 각 요소 레이어의 복잡성을 정량화합니다.
도로 레이어의 복잡성은 주로 차선의 가시성에 따라 결정됩니다. 표 3을 참조하세요. 명확한 차선의 경우 복잡성은 1입니다. 막히거나 마모된 차선은 차선 인식에 영향을 미치며 복잡성은 2입니다. 도로에 물이 쌓이고 차선이 얼음으로 덮이면 차선 인식에 영향을 미칠 뿐만 아니라 운전 장애도 발생합니다. 복잡도가 3인 불규칙한 차선은 차선을 잘못 인식하여 차량이 잘못된 방향으로 이동할 수 있습니다. 복잡도가 4인 차선이 없는 장면은 차량 이동 방향에 영향을 미칠 수 있습니다. 복잡도는 4입니다. 5.
교통시설 레이어의 복잡성은 주로 교통시설의 가시성에 따라 결정됩니다. 표 4를 참조하세요. 교통시설이 없는 장면은 복잡도 1을 가지며, 교통시설이 너무 멀리 떨어져 있어 명확하게 식별할 수 없는 장면은 복잡도 3을 갖는다. 더러움 등 식별하기 어려운 시나리오는 복잡도 4단계, 불규칙한 교통시설은 오인을 유발하여 신호등이 빨간불로 운행되는 등 위험한 행동으로 이어질 수 있으며 복잡도는 5단계입니다.
임시 교통 이벤트 레이어의 복잡성은 주로 해당 이벤트의 우발성과 예측 가능성에 의해 결정됩니다. 표 5를 참조하세요. 일시적인 교통사고가 없는 경우 교통 통제 등 일시적인 교통사고가 있고 현장을 유지 관리할 전담 인력이 있는 경우 복잡성은 2입니다. 건설, 교통사고 등의 복잡성은 3입니다. 운전에 더 큰 영향을 미치는 일시적인 교통 사건은 복잡성이 4입니다. 5의 복잡성.
교통 참가자 레이어의 복잡성은 참가자의 공통성과 규정 준수에 따라 결정됩니다. 표 6을 참조하세요. 교통 참여자가 없는 경우 복잡도는 1이고, 장면에 차량만 포함되어 있고 보행자, 자전거 등의 일반 참여자가 포함되어 있고 규정에 따라 지정된 위치(예: 보도, 자전거 도로)에 있는 경우 복잡도는 2입니다. 등), 복잡도는 3 이고, 보행자, 자전거 등 일반 참가자가 포함되어 있으며 규정에서 지정한 위치(도로를 횡단하는 보행자, 자동차 차선에서 주행하는 자전거 등)에 위치하지 않는 경우 복잡도는 4입니다. 흔하지 않은 교통 참가자(예: 코끼리를 끄는 트럭, 말을 탄 보행자 등)의 복잡성은 5입니다.
환경 조건 레이어의 복잡성은 주로 가시성에 따라 결정됩니다. 표 7을 참조하세요. 맑은 날의 높은 가시성은 1이고, 비오는 날과 저녁의 중간 가시성은 2입니다. 밤에는 주변 조명이 없으며, 그 복잡도는 3입니다. 복잡도는 4입니다. 짙은 안개 하늘 가시성은 매우 낮으며 복잡도는 5입니다.
정보층의 복잡도는 주로 교통정보 유무에 따라 결정되는데, 표 8을 참고하세요. 고정밀 지도가 있거나 V2X가 교통 정보를 제공하는 경우 복잡도는 1이고, 고정밀 지도가 없거나 V2X가 교통 정보를 제공하는 경우 복잡도는 2입니다.
위의 레이어링 방법과 각 레이어의 복잡도 정량화 방법을 통해 단일 장면 데이터의 복잡도, 즉 각 레이어의 복잡도의 합을 계산할 수 있습니다. 예를 들어, 그림 3의 장면 데이터는 18의 복잡도를 갖습니다(각 레이어의 복잡도는 표 9 참조).
전체 장면 라이브러리에 대해 각 장면 데이터의 복잡도를 추가하고 이를 다음의 장면 데이터로 나눕니다. 장면 라이브러리 총 개수는 전체 장면 라이브러리의 복잡성입니다. 장면 라이브러리의 복잡성을 기반으로 다양한 장면 라이브러리의 품질을 비교할 수 있습니다.
공간 제한으로 인해 위의 각 레이어 복잡성 표에 모든 요소가 나열되고 다루어지지는 않는다는 점에 주목할 가치가 있습니다. 열거되거나 다루어지지 않은 요소의 경우 해당 요소가 위치한 레이어의 복잡도를 결정하는 요소에 따라 복잡도를 결정해야 합니다. 예를 들어, 환경 조건 레이어의 복잡성을 결정하는 요소는 가시성입니다. 안개가 낀 날에 나열되지 않은 낮은 농도의 경우 가시성은 야간 주변 조명의 가시성과 동일하므로 복잡성은 3입니다.
3 장면 데이터 복잡도 보정
위의 복잡도 정량화 방법을 사용하여 장면 라이브러리를 구축할 때 "과복잡성" 현상이 발생하기 쉽습니다. 장면 라이브러리, 장면 라이브러리는 복잡도가 높은 장면만 수집합니다. 시나리오는 시나리오 라이브러리를 매우 복잡하게 만들지만 발생 확률이 매우 낮은 시나리오를 포함하므로 궁극적으로 시스템 성능 결함을 감지할 수 없게 됩니다. "지나친 복잡성" 현상을 피하기 위해 이 기사에서는 "모자 라이브러리"와 "시스템 시나리오 확률"이라는 두 가지 개념을 제안합니다.
3.1 모자 데이터베이스
실제 장면 데이터베이스 수집 과정에서는 무작위 위치, 무작위 시간대, 무작위 기후 등 무작위 수집 방법으로 수집된 데이터가 "어머니 데이터베이스"를 구성합니다. 이후, 해당 시스템의 특성과 운영 영역을 토대로 "모 라이브러리"에서 "하위 라이브러리"를 추출한다. 예를 들어 고속도로에만 적용되는 자율주행 시스템의 경우 고속도로의 장면 데이터를 "상위 라이브러리"에서 추출하여 "하위 라이브러리"로 구성합니다. 예를 들어 특정 도시를 위해 개발된 자율주행 시스템의 경우 해당 도시의 장면 데이터를 "모체 데이터베이스"에서 추출하여 시스템의 "하위 데이터베이스"를 형성합니다.
주목할 가치가 있습니다. 이론적으로는 "어머니 라이브러리"를 먼저 구축한 다음 "하위 라이브러리"를 추출하거나, "하위 라이브러리"를 먼저 구축한 다음 "어머니 라이브러리"로 집계할 수 있습니다. 도서관". 하지만 이 글에서는 '엄마가 먼저, 아들은 둘째' 방식을 권장합니다. "모 라이브러리"의 구성이 무작위이기 때문에 "모 라이브러리"에서 추출된 "자식 라이브러리"도 임의의 속성을 갖습니다. "하위 라이브러리"가 먼저 구축되고 "하위 라이브러리"가 시스템 특정적이기 때문에 구축 프로세스에서 완전한 무작위성을 달성하기가 어렵습니다.
3.2 시스템 시나리오 확률
"마더 라이브러리"에서 추출된 "하위 라이브러리"에 대해 시스템 운영 중에 시나리오의 각 요소 레이어가 나타날 확률, 즉 시스템 시나리오 확률을 추가로 분석합니다. . 예를 들어 고속도로에만 적합한 자율주행 시스템의 경우 교통 참여자 레이어에 차량만 포함될 확률(복잡도 2)이 보행자와 자전거가 있을 확률(복잡도 3)보다 훨씬 높습니다. 따라서 이 계층의 요소 복잡도를 평가할 때 이 계층의 최종 복잡도를 얻기 위해서는 복잡도에 확률 계수를 곱하는 것도 필요합니다. 공식은 다음과 같습니다.
공식에서 C는 장면 데이터의 최종 복잡도입니다. 는
번째 레이어 장면 요소의 복잡도입니다.
는
번째 레이어 장면 요소의 확률 계수입니다. 해당 시스템이 실행 중일 때 나타납니다.
3.3 "과잉 복잡도" 현상 방지
"모자 라이브러리"와 "시스템 시나리오 확률"을 사용하여 "과잉 복잡도" 현상을 방지할 수 있습니다. 주요 이유는 다음과 같습니다. (1) “어머니 도서관”을 구축할 때 “어머니 도서관”의 수집 과정에서 인적 요소를 줄이기 위해 무작위 위치, 무작위 기간, 무작위 기후 등의 무작위 수집 방법이 사용됩니다. (2) 특정 시스템의 경우 관련 "하위 라이브러리"는 "모 라이브러리"에서 추출되며, 이는 "하위 라이브러리"에서 인적 요소를 간접적으로 피합니다. (3) 시스템 실행 시 장면 발생 확률과 복잡도를 기반으로 최종 장면 복잡도를 계산합니다. 복잡성과 확률의 객관적인 요소를 결합하면 인적 요소의 영향을 피할 수 있습니다. 예를 들어 복잡도가 높고 확률이 낮은 장면 요소의 경우 또는 복잡도가 낮고 확률이 높은 장면 요소의 경우 최종 장면 복잡도 값이 더 낮을 수 있습니다.
3.4 확률 계수 값
시스템마다 확률 계수가 다릅니다. 예를 들어, 고속도로 사용으로 제한되는 시스템의 경우 교통 참여자 레이어에 나타나는 차량만의 확률 계수는 도시 교통 시나리오에서 사용할 수 있는 시스템의 경우 보행자와 자전거의 확률 계수보다 큽니다. 교통참여자 레이어에 나타나는 보행자와 자전거의 확률계수는 차량만의 확률계수보다 크다. 또한 동일한 시스템의 경우 자율 주행 개발 프로세스의 여러 단계에서 확률 계수도 다를 수 있습니다. 예: 이 단계에서 정보 계층에 고정밀 지도 또는 V2X가 있는 시스템의 확률 계수는 고정밀 지도 또는 V2X가 없는 시스템의 확률 계수보다 낮습니다. 자율주행 개발 과정의 후반 단계에서 고정밀 지도나 V2X가 있는 시스템의 확률계수는 고정밀 지도나 V2X가 없는 시스템의 확률계수보다 높을 수 있습니다.
따라서 다양한 시스템의 경우 운영 범위, 위치, 시간, 목표 시장, 전체 시장 수준 등 다양한 측면을 고려하여 다양한 시나리오 요소의 확률 계수를 결정해야 합니다.
4 결론
ISO/PAS 21448의 요구 사항을 충족하려면 예상되는 기능 안전 시나리오 라이브러리를 구축해야 합니다. 그러나 장면 라이브러리의 구성 품질에는 해당 정량적 지표가 부족합니다. Pegasus 장면 레이어링 시스템을 기반으로 이 문서에서는 장면 라이브러리의 품질을 평가하기 위해 각 요소 레이어의 복잡성을 정량화합니다. 동시에 '과도한 복잡성' 현상을 피하기 위해 '모자 도서관'과 '시스템 시나리오 확률'이라는 두 가지 개념을 제안하고, '모자 도서관' 구축 방법과 방법을 제안했다. "시스템 시나리오 확률"을 계산하는 방법을 설명하였고, 이를 바탕으로 최종 복잡도를 계산하는 방법을 설명하였다. 이 기사에 언급된 정량화 방법과 "과도한 복잡성"을 방지하는 방법은 예상되는 기능 안전 시나리오 라이브러리의 구축 및 홍보에 중요한 역할을 합니다.
위 내용은 기대되는 기능안전성 시나리오 라이브러리의 복합정량화 방법 연구의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











어제 인터뷰 도중 롱테일 관련 질문을 해본 적이 있느냐는 질문을 받아서 간략하게 요약해볼까 생각했습니다. 자율주행의 롱테일 문제는 자율주행차의 엣지 케이스, 즉 발생 확률이 낮은 가능한 시나리오를 말한다. 인지된 롱테일 문제는 현재 단일 차량 지능형 자율주행차의 운영 설계 영역을 제한하는 주요 이유 중 하나입니다. 자율주행의 기본 아키텍처와 대부분의 기술적인 문제는 해결되었으며, 나머지 5%의 롱테일 문제는 점차 자율주행 발전을 제한하는 핵심이 되었습니다. 이러한 문제에는 다양한 단편적인 시나리오, 극단적인 상황, 예측할 수 없는 인간 행동이 포함됩니다. 자율 주행에서 엣지 시나리오의 "롱테일"은 자율주행차(AV)의 엣지 케이스를 의미하며 발생 확률이 낮은 가능한 시나리오입니다. 이런 희귀한 사건

전면 및 시작점 작성 엔드 투 엔드 패러다임은 통합 프레임워크를 사용하여 자율 주행 시스템에서 멀티 태스킹을 달성합니다. 이 패러다임의 단순성과 명확성에도 불구하고 하위 작업에 대한 엔드투엔드 자율 주행 방법의 성능은 여전히 단일 작업 방법보다 훨씬 뒤떨어져 있습니다. 동시에 이전 엔드투엔드 방법에서 널리 사용된 조밀한 조감도(BEV) 기능으로 인해 더 많은 양식이나 작업으로 확장하기가 어렵습니다. 여기서는 희소 검색 중심의 엔드 투 엔드 자율 주행 패러다임(SparseAD)이 제안됩니다. 여기서 희소 검색은 밀집된 BEV 표현 없이 공간, 시간 및 작업을 포함한 전체 운전 시나리오를 완전히 나타냅니다. 특히 통합 스파스 아키텍처는 탐지, 추적, 온라인 매핑을 포함한 작업 인식을 위해 설계되었습니다. 게다가 무겁다.

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

위에 작성됨 및 저자의 개인적 이해: 이 문서는 자율 주행 애플리케이션에서 현재 다중 모드 대형 언어 모델(MLLM)의 주요 과제를 해결하는 데 전념하고 있습니다. 이는 MLLM을 2D 이해에서 3D 공간으로 확장하는 문제입니다. 자율주행차(AV)가 3D 환경에 대해 정확한 결정을 내려야 하기 때문에 이러한 확장은 특히 중요합니다. 3D 공간 이해는 정보에 입각한 결정을 내리고 미래 상태를 예측하며 환경과 안전하게 상호 작용하는 차량의 능력에 직접적인 영향을 미치기 때문에 AV에 매우 중요합니다. 현재 다중 모드 대형 언어 모델(예: LLaVA-1.5)은 시각적 인코더의 해상도 제한, LLM 시퀀스 길이 제한으로 인해 저해상도 이미지 입력(예:)만 처리할 수 있는 경우가 많습니다. 하지만 자율주행 애플리케이션에는

순수한 시각적 주석 솔루션은 주로 비전과 동적 주석을 위한 GPS, IMU 및 휠 속도 센서의 일부 데이터를 사용합니다. 물론 대량 생산 시나리오의 경우 순수 비전일 필요는 없습니다. 일부 대량 생산 차량에는 고체 레이더(AT128)와 같은 센서가 장착됩니다. 대량 생산 관점에서 데이터 폐쇄 루프를 만들고 이러한 센서를 모두 사용하면 동적 개체에 라벨을 붙이는 문제를 효과적으로 해결할 수 있습니다. 그러나 우리 계획에는 고체 레이더가 없습니다. 따라서 가장 일반적인 대량 생산 라벨링 솔루션을 소개하겠습니다. 순수한 시각적 주석 솔루션의 핵심은 고정밀 포즈 재구성에 있습니다. 재구성 정확도를 보장하기 위해 SFM(Structure from Motion)의 포즈 재구성 방식을 사용합니다. 하지만 통과

위 작성 및 저자 개인적 이해 최근 자율주행은 운전자의 부담을 줄이고 운전 안전성을 높일 수 있다는 점에서 주목을 받고 있다. 비전 기반 3차원 점유 예측은 자율 주행 안전에 대한 비용 효율적이고 포괄적인 조사에 적합한 새로운 인식 작업입니다. 많은 연구에서 객체 중심 인식 작업에 비해 3D 점유 예측 도구의 우수성을 입증했지만, 빠르게 발전하는 이 분야에 대한 리뷰는 여전히 남아 있습니다. 본 논문에서는 먼저 비전 기반 3D 점유 예측의 배경을 소개하고 이 작업에서 직면하는 과제에 대해 논의합니다. 다음으로, 기능 향상, 배포 친화성, 라벨링 효율성이라는 세 가지 측면에서 현재 3D 점유 예측 방법의 현황과 개발 동향을 종합적으로 논의합니다. 마침내

중국과학원 자동화 연구소의 심층 강화 학습 팀은 Li Auto 등과 함께 다중 모드 대형 언어 모델인 MLLM(PlanAgent)을 기반으로 자율 주행을 위한 새로운 폐쇄 루프 계획 프레임워크를 제안했습니다. 이 방법은 장면에 대한 조감도와 그래프 기반 텍스트 프롬프트를 입력으로 취하고, 다중 모드 대형 언어 모델의 다중 모드 이해 및 상식 추론 기능을 활용하여 장면 이해부터 생성까지 계층적 추론을 수행합니다. 수평 및 수직 이동 지침을 작성하고 플래너가 요구하는 지침을 추가로 생성합니다. 이 방법은 대규모의 까다로운 nuPlan 벤치마크에서 테스트되었으며 실험에서는 PlanAgent가 일반 시나리오와 롱테일 시나리오 모두에서 최첨단(SOTA) 성능을 달성하는 것으로 나타났습니다. PlanAgent는 기존의 LLM(Large Language Model) 방식과 비교하여

위 작성 및 저자 개인적 이해 현재 자율주행 기술이 성숙해지고 자율주행 인식 작업에 대한 수요가 증가함에 따라, 3차원 타겟 탐지와 동시에 완성할 수 있는 이상적인 인식 알고리즘 모델에 대한 업계와 학계의 기대가 크다. BEV 공간의 의미론적 분할 작업을 기반으로 합니다. 자율 주행이 가능한 차량의 경우 일반적으로 서라운드 뷰 카메라 센서, 라이더 센서, 밀리미터파 레이더 센서가 장착되어 다양한 방식으로 데이터를 수집합니다. 이러한 방식으로 서로 다른 모달 데이터 간의 보완적인 이점을 완전히 활용할 수 있으므로 서로 다른 양식 간의 데이터의 보완적인 이점을 얻을 수 있습니다. 예를 들어 3D 포인트 클라우드 데이터는 3D 타겟 감지 작업에 대한 정보를 제공할 수 있고 컬러 이미지 데이터는 제공할 수 있습니다. 의미론적 분할 작업에 대한 더 많은 정보를 제공할 수 있습니다. 바늘
