ドローンはますます賢くなっています！ Li Xuelong のチームが機械会話の新時代を築く

言語は人間のコミュニケーションと思考にとって最も重要な記号体系であり、人間の文明を促進する重要な力です。したがって、機械は言語と相互作用して、見たり聞いたり考えたりするものを表現し、現実のものとなることができるでしょうか。知能ロボットについてはどうですか？最近、ノースウェスタン工科大学光電子インテリジェンス研究所の Li Xuelong 教授とその同僚は、機械相互作用において革新的な進歩を遂げました。国産の大型モデルに基づいて、 を開発しました。 「グループチャット」ドローン 制御フレームワーク により、各ドローンに頭脳が備わり、ドローン クラスタが動的に言語コミュニケーションで連携できるようになり、「人と機械」と「」の オープンな環境を実現します。複数の「マシン」ダイアログ インタラクション # は、人間とマシンの間のインタラクションの壁を打ち破り、ローカル セキュリティのアプリケーション シナリオをさらに拡張します。

大規模なモデルは優れた汎化機能を備えているため、「汎用人工知能」の実現に最適です。希望の。しかし、単に本をたくさん読むだけでは、実際に実践するよりもはるかに効果が低くなります。オープンな環境では、複雑なタスクを真に理解し、実際的な問題を解決するには、大規模なモデルを物理世界に真に統合する必要があります。

最近、Li Xuelong 教授のチームは、オープンな環境で自律型ドローン クラスターのイノベーションを実行しました。 , 大きなモデルに翼を与えて、私たちの現実の生活に飛び込んでみましょう。

人間の認知モデルに触発されたチームは、認知形成における高度な自律性を "思考コンピューティング - エンティティ制御 - 環境意識「の3次元インタラクションは、「ScholarPuyu」オープンソース大規模モデルによって駆動される自律型ドローンの「グループチャットスタイル」制御フレームワークを確立しました。オープン環境や複雑なタスクにおけるインテリジェントなインタラクション、アクティブな認識、自律制御を実現することで、UAV ミッション実行の自律性が向上します。

一般に、人間のような対話インタラクション、アクティブな環境認識、および自律エンティティ制御が自律ドローン クラスターの主な機能です。

1. #人間のような対話インタラクション

##図 1

ドローン グループ チャット コミュニケーション人間のユーザーとドローンの間のインタラクションを調査し、ドローンが複雑なタスクにおけるユーザーのニーズを理解できるようにすることは、自律型ドローンを実現するための前提条件です。

これに対し研究チームは、音声や画像、ドローン自身の状態などのさまざまな情報を大規模なモデルを通じて自然言語対話形式に変換する対話対話手法「グループチャット」を提案しました。 ## これは、ユーザーとドローン、およびドローンとドローンの間の自律的かつ直感的な対話方法を提供します。同時にチームは、ドローンが対話を通じて自身のステータスを報告し、ミッション実行の主要なノードでユーザーの確認を求めることを可能にする効率的なリアルタイムフィードバックメカニズムを設計し、複雑なミッション実行の安定性と安全性を大幅に向上させました。

2.

アクティブな環境認識

##図 2

積極的にターゲットを発見してアプローチ##図 3

動的環境障害物回避

飛行中、ドローンは外部環境を積極的に感知し、ミッション計画をリアルタイムで調整します。これは、複雑なタスクを完了するための重要なリンクです。 これに応えて、チームはタスク誘導のための能動的な知覚メカニズムを設計し、マルチセンサー融合低高度探索、動的な障害物回避、および視覚的位置決めアルゴリズムを提案しました。実際のミッション実行では、認識された情報とミッション目標に基づいてドローンの飛行経路と観測姿勢が動的に調整され、さまざまな角度や位置から周囲の世界を認識することを試み、環境の不確実性を徐々に減らし、効率的なミッションを達成します。情報収集とタスクの実行。

3.

自律制御

#図 4 自律的なターゲット捕捉

図 5 異種 UAV クラスターの協調制御

複合エージェントの形式を調査し、複雑なタスク処理機能を強化します。時代の新しいインテリジェントエージェントの研究の焦点。

これに対応して、チームはドローン プラットフォームを利用してグリッパーなどのエンド エフェクターを設計し、

従来のドローンを "飛行ロボットに拡張しました”、「手」が育ち、把握する力がつきます。同時に、異種 UAV クラスター協調制御メカニズムが構築され、環境認識フィードバックと組み合わせて UAV 編隊の飛行状態をリアルタイムで調整し、クラスターが地域探索などのタスクを実行できるようにしました。 、ターゲットの位置決めと掴み。

大型モデル自律ドローンクラスターは、生物学的知能「思考、計算、実体の制御、環境認識」の三次元相互作用モデルを自律エージェントに適用するチームによる成功した試みです。モデル、無人航空機 機械プラットフォームとさまざまなセンサーを使用して、対話インタラクション、能動的な知覚、および自律制御を実現します。これは、セキュリティ検査、災害救助、航空物流、その他の

地域セキュリティ#のアプリケーションにとって非常に重要です。 ## のシナリオ。 詳細資料: Li Xuelong、Vicinagearth security、Communications of the China Computer Federation、18(11)、44-52、2022.

全文ダウンロード:

https ://dl.ccf.org.cn/article/articleDetail.html?type=xhtx_thesis&_ack=1&id=6219452051015680

以上がドローンはますます賢くなっています！ Li Xuelong のチームが機械会話の新時代を築くの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。