대형 모델의 '차에 오르기'의 핵심 단계: 세계 최초 언어 + 자율주행 오픈소스 데이터 세트가 여기에 있습니다

DriveLM은 데이터 세트와 모델이 포함된 언어 기반 드라이버 프로젝트입니다. DriveLM을 통해 우리는 자율 주행(AD)에 대규모 언어 모델의 추론 기능을 도입하여 결정을 내리고 설명 가능한 계획을 보장합니다.

DriveLM의 데이터 세트에서는 인간이 작성한 추론 논리를 연결로 사용하여 인식, 예측 및 계획을 촉진합니다(P3). 우리 모델에서는 더 나은 계획 결과를 생성하기 위해 마인드 매핑 기능을 갖춘 AD 시각적 언어 모델을 제안합니다. 현재 데이터세트의 데모 버전을 출시했으며, 향후 완전한 데이터세트와 모델이 출시될 예정입니다

프로젝트 링크: https://github.com/OpenDriveLab/DriveLM 다시 작성해야 할 사항은 다음과 같습니다. 프로젝트 링크: https://github.com/OpenDriveLab/DriveLM

AD에서 Graph-of-Thoughts는 무엇입니까?

데이터세트의 가장 흥미로운 측면은 입니다. P3의 QA(질문답변)는 QA 쌍을 각 노드로 하고 개체의 관계를 모서리로 하여 그래프 형식의 구조로 연결됩니다.

순수한 언어 사고 나무나 사고 지도에 비해 우리는 다중 양식을 선호합니다. AD 도메인에서는 각 단계가 원시 센서 입력부터 최종 제어 작업까지 AD 작업을 정의하기 때문에 이렇게 합니다.

DriveLM 데이터 세트에는 무엇이 포함되어 있나요?

주류 nuScenes 데이터세트를 기반으로 데이터세트를 구축하세요. DriveLM의 핵심 요소는 프레임 기반의 P3 QA입니다. 지각 문제를 해결하려면 모델이 장면의 객체를 인식해야 합니다. 예측 문제에서는 모델이 장면에 있는 중요한 객체의 미래 상태를 예측해야 합니다. 계획 문제는 모델이 합리적인 계획 조치를 취하고 위험한 조치를 피하도록 유도합니다.

캘리브레이션 과정은 어떻게 진행되나요?

1. 키프레임 선택. 클립의 모든 프레임이 주어지면 주석 작성자는 주석을 추가해야 하는 키프레임을 선택합니다. 표준은 이러한 프레임워크가 자가 차량의 동작 상태 변화(차선 변경, 급정지, 정지 후 출발 등)를 포함해야 한다는 것입니다.
2. 주요 개체 선택. 키프레임이 주어지면 주석자는 6개의 주변 이미지에서 주요 개체를 선택해야 합니다. 기준은 이러한 물체가 자신의 차량(신호등, 길을 건너는 보행자, 다른 차량)에 영향을 미칠 수 있어야 한다는 것입니다.
3. Q&A 메모. 이러한 주요 개체가 주어지면 인식, 예측 및 계획에 대한 단일 또는 다중 개체 질문이 자동으로 생성됩니다. 자세한 내용은 데모 데이터에서 확인할 수 있습니다.

위 내용은 대형 모델의 '차에 오르기'의 핵심 단계: 세계 최초 언어 + 자율주행 오픈소스 데이터 세트가 여기에 있습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!