드론이 점점 똑똑해지고 있어요! Li Xuelong 팀은 기계 말하기의 새로운 시대를 만듭니다

언어는 인간의 의사소통과 사고에 있어 가장 중요한 상징 체계이자 인류 문명을 발전시키는 중요한 힘입니다. 그렇다면 기계는 언어를 사용하여 상호작용하고 보고 듣고 생각하는 것을 표현하여 진정한 지능을 갖춘 로봇이 될 수 있을까요? ? 최근 Northwestern Polytechnical University의 광전자 공학 및 지능 연구소의 Li Xuelong 교수와 그의 동료들은 기계 상호 작용에서 혁신적인 진전을 이루었습니다. 그들은 국내에서 생산된 대형 모델을 기반으로 "그룹 채팅 스타일" UAV 제어 장치를 개발했습니다. 프레임워크, 각 드론에 제공 드론에는 두뇌가 장착되어 드론 클러스터가 언어 통신에서 동적으로 협력할 수 있도록 하여 개방형 환경에서 "인간-기계" 및 "다중 기계" 대화 상호 작용을 실현합니다. 인간과 기계 사이의 상호작용 장벽, 로컬 보안의 적용 시나리오가 더욱 확장됩니다.

대형 모델은 뛰어난 일반화 능력을 갖추고 있어 '일반 인공 지능' 달성에 대한 희망의 빛이 됩니다. 하지만 책을 많이 읽는 것만으로는 실습에 비해 효과가 훨씬 떨어집니다. 개방형 환경에서 복잡한 작업을 진정으로 이해하고 실질적인 문제를 해결하려면 대형 모델을 물리적 세계에 진정으로 통합해야 합니다.

최근 Li Xuelong 교수팀은 개방형 환경에서 자율 드론 클러스터에 대한 혁신적인 연구를 수행했습니다.let Large 모델은 날개를 달고 우리의 실제 생활 속으로 날아옵니다.

인간 인지 모델에서 영감을 받아 팀은 인지 형성의 높은 자율성을 "사고 계산 - 개체 제어 - 환경 인식 " 3차원 상호 작용 으로 응축하여 " "ShushengPuyu" 오픈 소스 대형 모델이 구동하는 자율 드론을 위한 "그룹 채팅" 제어 프레임워크는 개방형 환경과 복잡한 작업에서 지능형 상호 작용, 능동적 인식 및 자율 제어를 실현하고 드론 임무 실행의 자율성을 향상시킵니다.

일반적으로 인간과 같은 대화 상호 작용, 능동적인 환경 인식, 자율 개체 제어가 자율 드론 클러스터의 주요 기능입니다.

1. 인간과 같은 대화 상호 작용

그림 1 드론 그룹 채팅 통신

드론이 복잡한 작업을 이해할 수 있도록 인간 사용자와 드론 간의 상호 작용을 탐색합니다. 자율드론 구현을 위한 전제조건.

이에 대해 팀은 소리, 이미지, 드론 자신의 상태 등 다양한 정보를 대형 모델을 통해 자연어 대화 형식으로 변환하는 '그룹 채팅' 대화 상호작용 방식을 제안했습니다. 사용자와 드론, 그리고 드론 간의 자율적이고 직관적인 상호작용. 동시에 팀은 드론이 대화를 통해 자신의 상태를 보고하고 임무 수행의 핵심 노드에서 사용자 확인을 구할 수 있는 효율적인 실시간 피드백 메커니즘을 설계하여 복잡한 임무 수행의 안정성과 안전성을 크게 향상시켰습니다.

2. 적극적인 환경 인식

사진 2적극적으로 목표를 발견하고 접근

사진 3 동적 환경 장애물 회피

동안 비행 과정에서 드론은 외부 환경을 능동적으로 감지하고 실시간으로 임무 계획을 조정하는데, 이는 복잡한 작업을 완료하는 데 중요한 연결 고리입니다.

이에 대응하여 팀에서는 작업 안내를 위한 능동 인식 메커니즘을 설계하고 다중 센서 융합 저고도 탐색, 동적 장애물 회피 및 시각적 위치 지정 알고리즘을 제안했습니다. 실제 임무 수행 중에 UAV 비행 경로와 관측 자세는 인지된 정보와 임무 목표에 따라 동적으로 조정됩니다.

다양한 각도와 위치에서 주변 세계를 인식하고 환경의 불확실성을 점차적으로 줄이고 효율적인 정보 수집을 달성하십시오. . 및 작업 실행.

3. 자율 제어

그림 4자동 표적 잡기

그림 5이종 UAV 클러스터 협업 제어

복합 에이전트 형태 살펴보기 복잡한 업무 처리 능력을 향상시키는 것이 연구의 초점입니다. 대형 모델 시대의 새로운 지능형 에이전트.

이에 대응하여 팀은 드론 플랫폼을 기반으로 그리퍼와 같은 엔드 이펙터를 설계했으며, 기존 드론을 "비행 로봇"으로 확장하여 "손"을 키우고 잡는 능력을 갖게 되었습니다. 능력. 동시에 환경 인식 피드백을 결합하여 드론 편성의 비행 상태를 실시간으로 조정하는 이종 드론 클러스터 협력 제어 메커니즘이 구축되어 클러스터가 지역 탐색, 목표 위치 확인, 비행 등의 작업을 수행할 수 있습니다. 잡기.

대형 모델 자율 드론 클러스터는 대규모 언어 모델, 드론 플랫폼 및 다중 보안 검사, 재난 구조, 항공 물류 및 기타 현장 보안 시나리오에 적용하는 데 큰 의미가 있는 대화 상호 작용, 능동적 인식 및 자율 제어를 실현하는 일종의 센서입니다.

추가 읽기: Li Xuelong, Vicinagearth security, Communications of the China Computer Federation, 18(11), 44-52, 2022.

전체 텍스트 다운로드:

https://dl.ccf.org.cn/ 기사/기사Detail.html?type=xhtx_esis&_ack=1&id=6219452051015680

위 내용은 드론이 점점 똑똑해지고 있어요! Li Xuelong 팀은 기계 말하기의 새로운 시대를 만듭니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!