NPU는 혁신적인 UAV 제어 프레임워크를 출시하여 그룹 채팅 스타일 상호 작용, 환경에 대한 적극적인 인식 및 UAV의 자율 제어를 지원합니다.

슈퍼 일반화 능력은 대형 모델을 "일반 인공 지능"의 희망으로 만듭니다.

그러나 수천 권의 책을 읽는 것은 수천 마일을 여행하는 것만큼 좋지 않습니다. 개방형 환경에서 대형 모델은 복잡한 작업을 진정으로 이해하고 실제 문제를 해결하기 위해 실제로 물리적 세계로 "걸어갈" 필요가 있습니다.

최근 Li Xuelong 교수 팀은 개방형 환경에서 자율 드론 떼에 대한 혁신적인 연구를 수행했습니다. 그들은 국내 대규모 모델을 사용하여 개방형 환경에서 인간-컴퓨터 및 다중 기계 대화 상호 작용을 성공적으로 구현하여 인간과 기계 간의 상호 작용 장벽을 허물었습니다. 이 연구는 로컬 보안의 적용 시나리오를 더욱 확장하여 대형 드론이 실제 생활에서 비행할 수 있도록 합니다

인간 인지 모델에서 영감을 받은 우리 팀은 고도로 자율적인 인지 과정을 "생각하는 컴퓨팅 개체" "제어-환경 인식" 3가지로 요약합니다. 차원적 상호작용을 구현하고, '스콜라·푸유' 오픈소스 대형 모델을 기반으로 구동되는 자율드론을 위한 '그룹 채팅' 제어 프레임워크를 구축했다. 우리는 각 드론에 지능형 두뇌를 장착하여 드론 그룹이 언어 의사소통을 통해 동적으로 협력하여 개방형 환경과 복잡한 작업에서 지능형 상호 작용, 능동적 인식 및 자율 제어를 달성할 수 있도록 합니다. 이러한 움직임은 드론 임무 수행의 자율성을 향상시킵니다

일반적으로 자율 드론 클러스터의 주요 기능에는 인간과 같은 대화 상호 작용, 능동적 환경 인식 및 자율 개체 제어가 포함됩니다

인간과 같은 대화 상호 작용

그림 1 드론 그룹 채팅 커뮤니케이션

인간 사용자와 드론 사이의 상호 작용을 탐색하여 드론이 복잡한 작업에서 사용자의 요구를 이해할 수 있도록 하는 것은 자율 드론을 구현하기 위한 전제 조건입니다.

이에 대해 팀은 소리, 이미지, 드론 자체의 상태 등 다양한 정보를 대형 모델을 통해 자연어 대화 형식으로 변환하여 상호 작용을 구현하는 '그룹 채팅' 대화 상호 작용 방법을 제안했습니다. 사용자와 드론 간의 자율적이고 직관적인 상호작용.

복잡한 작업의 실행 안정성과 안전성을 향상시키기 위해 팀은 효율적인 실시간 피드백 메커니즘을 설계했습니다. 이 메커니즘을 통해 드론은 대화를 통해 상태를 보고하고 임무 실행의 핵심 노드에서 사용자 확인을 구할 수 있습니다. 동시에 이 메커니즘은 작업 실행의 효율성도 크게 향상시킬 수 있습니다

활성 환경 인식

그림 2 목표를 적극적으로 발견하고 접근

그림 3 비행 중 동적 환경 장애물 회피

, 아무도 외부 환경을 자동으로 감지하고 실시간으로 작업 계획을 조정하는 것은 복잡한 작업을 완료하는 핵심 링크입니다.

이 문제를 해결하기 위해 팀에서는 작업 기반 능동 인식 메커니즘을 개발하고 다중 센서 융합 저고도 탐색, 동적 장애물 회피 및 시각적 위치 지정 알고리즘을 제안했습니다.

실제 작업 실행 과정에서는 인식 정보 및 작업 대상을 통해 드론의 비행 경로와 관찰 자세를 동적으로 조정할 수 있습니다. 우리는 다양한 각도와 위치에서 주변 세계를 인식하고 점차적으로 환경의 불확실성을 줄여 효율적인 정보 수집 및 작업 실행을 달성하려고 노력할 수 있습니다. 이종 UAV 떼의 공동 제어

연구의 초점은 복합 에이전트의 형태를 탐색하여 복잡한 작업을 처리하는 능력을 향상시키는 것입니다. 대형 모델 시대에 새로운 지능형 에이전트의 핵심 영역입니다

이 문제를 해결하기 위해 R&D 팀은 드론 플랫폼을 사용하여 그리퍼와 같은 엔드 이펙터를 설계하여 전통적인 드론을 "비행 로봇"으로 업그레이드했습니다. 동시에 이종 UAV 클러스터 공동 제어 메커니즘도 구축되었으며 환경 인식 피드백과 결합되어 UAV 형성의 비행 상태가 실시간으로 조정되어 클러스터가 노동을 분담할 수 있습니다. 위치 파악, 크롤링 등의 작업을 수행하기 위해 협력합니다.

팀은 생물학적 지능 "사고 컴퓨팅 - 개체 제어 - 환경 인식"의 3차원 상호 작용 모델을 자율 에이전트에 적용하여 대규모 자율 드론 클러스터를 형성하는 데 성공했습니다. 이러한 종류의 클러스터는 대규모 언어 모델, 드론 플랫폼 및 다양한 센서를 사용하여 대화 상호 작용, 능동적 인식 및 자율 제어를 달성합니다. 이 기술은 보안 검사, 재난 구조, 항공 물류 등 현장 보안 시나리오에 적용하는 데 큰 의미가 있습니다.

참고 자료: Li Xuelong, Vicinagearth security, Communications of the China Computer Society, 18(11), 44- 2022년 5월 52일

위 내용은 NPU는 혁신적인 UAV 제어 프레임워크를 출시하여 그룹 채팅 스타일 상호 작용, 환경에 대한 적극적인 인식 및 UAV의 자율 제어를 지원합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!