NPU が革新的な UAV 制御フレームワークを開始: グループ チャット スタイルの対話、環境のアクティブな認識、UAV の自律制御を可能にします。

超汎化能力は大規模モデルを「汎用人工知能」への希望の光にします。

ただし、何千冊もの本を読むことは、何千マイルも旅することほど良いことではありません。オープンな環境では、複雑なタスクを真に理解し、実際的な問題を解決するために、大規模なモデルが実際に物理世界を「歩く」必要があります。 。

最近、Li Xuelong 教授のチームは、オープン環境における自律型ドローンの群れに関する革新的な研究を実施しました。彼らは国産の大規模モデルを使用して、オープンな環境で人間とコンピューターおよび複数のマシンの対話対話を実現することに成功し、人間と機械の間の相互作用の障壁を打ち破りました。この研究は、ローカル セキュリティの適用シナリオをさらに拡張し、大型ドローンが実生活で飛行できるようにします。

人間の認知モデルに触発されて、私たちのチームは、高度に自律的な認知プロセスを「思考コンピューティングの 3 次元相互作用」として要約しました。 「エンティティ制御・環境認識」を確立し、オープンソース大型モデル「Scholar・Puyu」による自律型ドローンの「グループチャット形式」制御フレームワークを確立しました。各ドローンにインテリジェントな頭脳を搭載し、ドローン グループが言語コミュニケーションを通じて動的に連携し、オープンな環境や複雑なタスクにおいてインテリジェントなインタラクション、アクティブな知覚、自律制御を実現できるようにします。この動きにより、ドローンのミッション実行の自律性が向上します。

一般に、自律型ドローン群の主な機能には、人間のような会話対話、能動的な環境認識、自律的なエンティティの制御が含まれます

humanoiddialogueinteraction

図 1 ドローンのグループ チャット通信

人間ユーザーとドローンの間のインタラクションを調査し、ドローンが複雑な内容を理解できるようにする ミッションにおけるユーザーのニーズは、自律型ドローンを実現するための前提条件です。

これに対し研究チームは、音声や画像、ドローン自身の状態などのさまざまな情報を大規模なモデルを通じて自然言語対話形式に変換する「グループチャット形式」の対話対話手法を提案しました。 、ユーザーとドローン間の対話、およびドローンと対話するための自律的かつ直感的な方法を実現します。

複雑なタスクの安定性と安全性を向上させるために、チームは効率的なリアルタイム フィードバック メカニズムを設計しました。このメカニズムにより、ドローンは対話を通じてステータスを報告し、ミッション実行の主要なノードでユーザーの確認を求めることができます。同時に、このメカニズムはタスク実行の効率を大幅に向上させることもできます。

アクティブな環境認識

#図 2 積極的にターゲットを発見し、アプローチします

図 3 動的な環境障害物回避#​​## 飛行中、ドローンは外部環境を積極的に感知し、ミッション プランをリアルタイムで調整します。これは、システムの重要なリンクです。複雑なタスクを完了します。

この問題に対処するために、チームはタスクガイド型の能動的な知覚メカニズムを開発し、マルチセンサー融合の低高度探索、動的障害物回避、および視覚的位置決めアルゴリズムを提案しました

実際にはミッション実行プロセス中に、認識された情報とミッション目標に基づいて、ドローンの飛行経路と観測姿勢を動的に調整できます。私たちは、周囲の世界をさまざまな角度や位置から認識することを試み、環境の不確実性を徐々に減らして、効率的な情報収集とタスクの実行を実現します。

自律制御

#図 4 自律的なターゲット捕捉

図 5 異種ドローン クラスターの協調制御

主要な研究は、複合エージェントの形式を調査することです。複雑なタスクを処理する能力を強化します。大型モデルの時代において、これは新しいインテリジェント エージェントにとって重要な領域です。

この問題を解決するために、研究開発チームはドローン プラットフォームを使用してグリッパーなどのエンド エフェクターを設計し、従来のドローンを「 」にアップグレードしました。フライングロボット」は、グラブ機能を備えています。

同時に、異種 UAV クラスター協調制御メカニズムも確立され、環境認識フィードバックと組み合わせて、UAV 編隊の飛行状態がリアルタイムで調整されます。これにより、クラスターは、地域検索、ターゲットの位置決め、クローリングなどのタスクを実行するための分業と協力を行うことができます。

研究チームは、生物知能「思考コンピューティング - 実体制御 - 環境認識」の 3 次元相互作用モデルを自律エージェントに適用する試みに成功し、大規模な自律ドローン クラスターを形成しました。この種のクラスターは、大規模な言語モデル、ドローン プラットフォーム、さまざまなセンサーを使用して、会話型の対話、能動的な知覚、自律制御を実現します。このテクノロジーは、セキュリティ検査、災害救助、航空物流などの現場のセキュリティ シナリオでの応用にとって非常に重要です。

参考文献: Li Xuelong、Vicinagearth security、Communications of the Computer Society of China、18( 11) )、44-52、2022

以上がNPU が革新的な UAV 制御フレームワークを開始: グループ チャット スタイルの対話、環境のアクティブな認識、UAV の自律制御を可能にします。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。