首页 科技周边 人工智能 无人机变聪明了!李学龙团队创造机器说话的新纪元

无人机变聪明了!李学龙团队创造机器说话的新纪元

Oct 30, 2023 pm 06:49 PM
工程

语言是人类交流和思维呈现最为重要的符号系统,是推动人类文明的重要力量,那么机器能否用语言进行交互,表达自己的所见、所听、所想,成为真正的智能机器人呢?近日,西北工业大学光电与智能研究院李学龙教授和同事们在机器交互方面取得创新进展:基于国产大模型,研发了 “群聊式”无人机控制框架,给每架无人机装上了大脑,让无人机集群在语言沟通中动态协同,实现了开放环境下“人机”和“多机”的对话交互,打破人类和机器的交互壁垒,进一步拓展了临地安防的应用场景。


大模型具有出色的泛化能力,这使得它们成为实现“通用人工智能”的希望之光。然而,光是阅读大量的书籍远不如亲身实践来得有效。在开放的环境中,大模型需要真实地融入物理世界,才能真正理解复杂的任务并解决实际问题

近日,李学龙教授团队在开放环境中的自主无人机集群方面开展了创新研究,让大模型插上翅膀,飞入我们的现实生活中。

受人类的认知模式启发,团队将认知形成的高度自主性凝练为思维计算—实体控制—环境感知的三元交互,建立了“书生浦语”开源大模型驱动的自主无人机“群聊式”控制框架,实现了开放环境和复杂任务中的智能交互、主动感知和自主控制,提高了无人机任务执行的自主性。

总体而言,类人对话交互、主动环境感知、自主实体控制,是自主无人机集群的主要能力。

  1. 类人对话交互

无人机变聪明了!李学龙团队创造机器说话的新纪元

图一 无人机群聊沟通

探索人类用户与无人机的交互方式,让无人机理解复杂任务中的用户需求,是实现自主无人机的前提条件。

针对此,团队提出“群聊式”对话交互方法,将声音、图像和无人机自身状态等多种信息,通过大模型转换为自然语言的对话形式,实现了用户与无人机,以及无人机与无人机之间自主和直观的交互方式。同时,团队设计了一套高效的实时反馈机制,使得无人机能够在任务执行的关键节点通过对话报告自身状态、寻求用户确认,大大提高了复杂任务执行的稳定性和安全性。

2.  主动环境感知

无人机变聪明了!李学龙团队创造机器说话的新纪元

图二 主动发现并靠近目标

无人机变聪明了!李学龙团队创造机器说话的新纪元

图三 动态环境避障

在飞行过程中,无人机主动感知外部环境,实时调整任务规划,是完成复杂任务的关键环节。

针对此,团队设计了任务引导的主动感知机制,提出了多传感器融合的低空搜索、动态避障和视觉定位算法。在实际任务执行中,根据感知信息和任务目标,动态调整无人机飞行路径和观测位姿,尝试从不同角度和位置感知周围世界,逐渐降低环境中的不确定性,实现高效的信息采集和任务执行

3.  自主控制

无人机变聪明了!李学龙团队创造机器说话的新纪元

图四 自主目标抓取

无人机变聪明了!李学龙团队创造机器说话的新纪元

图五 异构无人机集群协同控制

探索复合智能体形态,增强复杂任务处理能力,是大模型时代新型智能体的研究重点。

针对此,团队依托无人机平台设计了夹爪等末端执行器,将传统无人机拓展为飞行机器人,长出“手”来,具备抓取能力。同时,构建了异构无人机集群协同控制机制,结合环境感知反馈,实时调整无人机编队的飞行状态,使集群分工执行区域搜索、目标定位和抓取等任务。

大模型自主无人机集群是团队将生物智能 “思维计算—实体控制—环境感知”的三元交互模式应用于自主智能体的一次成功尝试,依托大语言模型、无人机平台和多种传感器,实现对话交互、主动感知和自主控制,对安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义。

拓展阅读:李学龙, 临地安防(Vicinagearth security), 中国计算机学会通讯, 18(11), 44-52, 2022.

全文下载:

https://dl.ccf.org.cn/article/articleDetail.html?type=xhtx_thesis&_ack=1&id=6219452051015680

以上是无人机变聪明了!李学龙团队创造机器说话的新纪元的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

从RLHF到DPO再到TDPO,大模型对齐算法已经是「token-level」 从RLHF到DPO再到TDPO,大模型对齐算法已经是「token-level」 Jun 24, 2024 pm 03:04 PM

从RLHF到DPO再到TDPO,大模型对齐算法已经是「token-level」

OpenAI超级对齐团队遗作:两个大模型博弈一番,输出更好懂了 OpenAI超级对齐团队遗作:两个大模型博弈一番,输出更好懂了 Jul 19, 2024 am 01:29 AM

OpenAI超级对齐团队遗作:两个大模型博弈一番,输出更好懂了

登顶开源AI软件工程师榜首,UIUC无Agent方案轻松解决SWE-bench真实编程问题 登顶开源AI软件工程师榜首,UIUC无Agent方案轻松解决SWE-bench真实编程问题 Jul 17, 2024 pm 10:02 PM

登顶开源AI软件工程师榜首,UIUC无Agent方案轻松解决SWE-bench真实编程问题

ControlNet作者又出爆款!一张图生成绘画全过程,两天狂揽1.4k Star ControlNet作者又出爆款!一张图生成绘画全过程,两天狂揽1.4k Star Jul 17, 2024 am 01:56 AM

ControlNet作者又出爆款!一张图生成绘画全过程,两天狂揽1.4k Star

arXiv论文可以发「弹幕」了,斯坦福alphaXiv讨论平台上线,LeCun点赞 arXiv论文可以发「弹幕」了,斯坦福alphaXiv讨论平台上线,LeCun点赞 Aug 01, 2024 pm 05:18 PM

arXiv论文可以发「弹幕」了,斯坦福alphaXiv讨论平台上线,LeCun点赞

无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散 无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散 Jul 23, 2024 pm 02:05 PM

无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散

黎曼猜想显着突破!陶哲轩强推MIT、牛津新论文,37岁菲尔兹奖得主参与 黎曼猜想显着突破!陶哲轩强推MIT、牛津新论文,37岁菲尔兹奖得主参与 Aug 05, 2024 pm 03:32 PM

黎曼猜想显着突破!陶哲轩强推MIT、牛津新论文,37岁菲尔兹奖得主参与

公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4 公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4 Jul 17, 2024 am 10:14 AM

公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4

See all articles