'인간-자동차 상호작용'의 새로운 돌파구! Purdue University는 학습 가능하고 사용자 정의 가능한 '명령 인식' 시스템인 Talk2Drive 프레임워크를 출시했습니다.

퍼듀 대학교 디지털 트윈 연구소의 최신 연구에서 과학자들은 LLM(대형 언어 모델)을 사용하여 자율 차량의 지능형 명령 구문 분석 기능을 향상시키는 혁신적인 기술을 채택했습니다. 이번 혁신은 자율주행 기술 발전에 새로운 가능성을 제시하고, 운전 지시에 대한 차량의 이해도와 반응속도를 향상시킬 것으로 기대된다.

이 기술의 핵심은 Talk2Drive 프레임워크입니다. Talk2Drive 프레임워크는 인간의 자연어를 사용하여 자율 주행 자동차를 제어하고 인간과 차량의 상호 작용을 위한 독특한 방식을 만드는 것을 목표로 합니다.

Pictures

논문 링크: https://www.php.cn/link/5f221386d076f4e7f6a97bb3b406c7b8

프로젝트 웹사이트: purduedigitaltwin.github.io/llm4ad

혁신적인 방법으로 달성 디자인, Talk2Drive 프레임워크 자율주행 효율적, 자동차와 인간 운전자 간의 직관적인 상호 작용. 프레임워크의 실행 프로세스에는 명령 수신, 처리 및 추론, 실행 가능한 코드 생성, 코드 실행 및 피드백 수집과 같은 주요 단계가 포함됩니다. 이러한 단계를 통해 프레임워크는 자율주행차가 안전하고 신뢰할 수 있는 방식으로 운전자와 상호 작용하고 필요할 때 필요한 결정과 조치를 취하도록 보장합니다. Talk2Drive 프레임워크는 운전 경험을 향상시키고 자율 주행 기술 개발에 중요한 지원을 제공하도록 설계되었습니다.

먼저, 고급 음성 인식 기술을 통해 프레임워크는 인간의 구두 명령을 정확하게 수신하고 텍스트 지침으로 변환하여 인간의 의도를 정확하게 이해할 수 있습니다.

날씨, 교통 상황 등 클라우드의 실시간 환경 데이터와 결합된 LLM은 지침을 처리할 때 이러한 주요 상황별 정보를 통합하여 개발된 운전 전략이 안전하고 현재 환경 조건에 적응할 수 있는지 확인합니다.

Pictures

LLM은 상황별 학습 및 사고 체인 프롬프트를 사용하여 지침을 추론합니다. 생성된 코드에는 기본 운전 지침이 포함될 뿐만 아니라 차량의 낮은 수준에서 조정해야 하는 복잡한 운전 행동 및 매개 변수도 포함됩니다. 제어 장치. 전방 거리, 속도 등 이러한 매개변수의 조정은 현재 도로 상황과 운전자 요구 사항에 대한 심층적인 이해를 바탕으로 이루어집니다.

보안 측면에서 Talk2Drive 프레임워크는 생성된 코드의 형식과 매개변수를 엄격하게 확인하여 자율주행 동작의 안전을 보장합니다.

, 재생시간 05:24

또한, 메모리 모듈을 도입하여 시스템이 운전자의 선호도와 피드백을 기록하고 학습하여 운전자에게 더욱 개인화된 운전 경험을 제공합니다.

Talk2Drive 프레임워크의 독창성은 고도로 개인화된 서비스입니다.

"최대한 빨리 목적지까지 데려다주세요. 친구들을 너무 오래 기다리게 하고 싶지 않아요", "조금 멀미가 느껴지니 속도를 줄여주세요" 등 승객의 언어적 지시를 분석하여, 프레임워크는 승객의 요구를 정확하게 이해하고 충족할 수 있습니다. 모든 인간과 차량의 상호 작용은 기록되어 시스템을 최적화하는 데 사용되며, 이를 통해 승객 선호도를 학습하고 향후 더욱 맞춤화된 운전 경험을 제공할 수 있습니다.

Pictures

또한, 실험 결과에 따르면 운전 스타일이 다른 운전자에 대해 서로 다른 LLM을 사용하고 Talk2Drive 프레임워크를 사용하는 자율주행차는 실제 도로 테스트에서 좋은 성능을 발휘하며 다양한 불투명도의 운전자를 이해할 수 있습니다. 명령을 통해 수동 인수의 필요성을 효과적으로 줄이고 다양한 운전 스타일과 시나리오에 적응할 수 있습니다.

이번 성과는 자율주행 분야에서 대형 언어 모델의 엄청난 잠재력을 보여줄 뿐만 아니라, 미래 자율주행 기술 발전을 위한 새로운 길을 열어준 것입니다.

Pictures

다양한 유형의 운전자의 경우 Talk2Drive 프레임워크를 사용하면 운전 중 인계율을 크게 줄일 수 있습니다.

지속적인 기술 발전과 최적화를 통해 Talk2Drive 프레임워크는 자율주행차에 더욱 안전하고 편안하며 개인화된 운전 경험을 제공할 수 있을 것입니다. 이 획기적인 연구는 자율주행과 인간-컴퓨터 상호작용의 통합과 발전을 의미할 뿐만 아니라, 사람 중심적이고 더욱 지능적인 미래 교통 시대의 도래를 예고합니다.

Research Team

Purdue University Digital Twin Laboratory는 대규모 언어 모델과 자율 주행의 교차점에서 혁신과 탐구에 전념하고 있습니다.

자율주행 기술 개발을 공동으로 추진하고 미래 교통의 가능성을 모색하기 위해 이 분야에 관심이 있는 전 세계의 연구원, 엔지니어 및 업계 동료들이 우리 프로젝트 웹사이트를 방문하는 것을 환영합니다.

사진

참조:

https://www.php.cn/link/5f221386d076f4e7f6a97bb3b406c7b8

위 내용은 '인간-자동차 상호작용'의 새로운 돌파구! Purdue University는 학습 가능하고 사용자 정의 가능한 '명령 인식' 시스템인 Talk2Drive 프레임워크를 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!