Table des matières
"L'agent est le cerveau"
Nouvelle architecture système appliquée à des situations réelles
Nouvel Agent
Un pont reliant les grands modèles et ROS
Pourquoi choisir les drones
Maison Périphériques technologiques IA L'équipe de l'Université de Beihang propose une nouvelle architecture d'intelligence embarquée pour réaliser le contrôle des gros drones

L'équipe de l'Université de Beihang propose une nouvelle architecture d'intelligence embarquée pour réaliser le contrôle des gros drones

Dec 15, 2023 am 10:49 AM
ai 模型

À l’ère du multimodal, les grands modèles peuvent aussi piloter des drones !

Lorsque le module de vision capture les conditions de départ, le « cerveau » du grand modèle générera des instructions d'action, puis le drone pourra les exécuter rapidement et avec précision

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

L'équipe de drones intelligents de l'Université d'aéronautique et d'astronautique de Pékin dirigés par le professeur Zhou Yaoming Des chercheurs ont proposé une architecture d'agent incarné basée sur un grand modèle multimodal

Actuellement, cette structure a été utilisée pour contrôler des drones

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

Comment ce nouvel agent fonctionne-t-il et quelles sont ses caractéristiques ? sur les détails techniques ?

"L'agent est le cerveau"

L'équipe de recherche utilise de grands modèles pour comprendre les données multimodales et intègre des informations multi-sources telles que des photos, des sons, des données de capteurs et d'autres informations du monde physique réel pour permettre à l'agent de percevoir l'environnement environnant et réaliser les opérations comportementales correspondantes

Dans le même temps, l'équipe a proposé un ensemble de "Agent comme cerveau, contrôleur comme cervelet" (l'agent est le cerveau, le contrôleur est le cervelet) architecture de contrôle :

Le processus de prise de décision de l'agent en tant que cerveau est un processeur généré, axé sur la génération de comportements de haut niveau. Phrase réécrite : en tant que générateur de décisions du cerveau, l'agent se concentre sur la génération de comportements de haut niveau

En tant que contrôleur de mouvement du cervelet, la principale responsabilité du contrôleur est de transformer les comportements de haut niveau (tels que les points cibles attendus) en systèmes de bas niveau. (comme la vitesse du rotor)

Plus précisément, l'équipe de recherche estime que cette réalisation a trois contributions principales.

Nouvelle architecture système appliquée à des situations réelles

L'équipe de recherche a proposé une nouvelle architecture système pouvant être appliquée à des robots réels. Cette architecture incarne l'agent intelligent basé sur le grand modèle multimodal comme le cerveau

, tandis que le planificateur et le contrôleur de mouvements du robot sont incarnés comme le cervelet. Le système de perception du robot est analogue aux yeux, aux oreilles et aux autres collecteurs d'informations humains. L'actionneur du robot est analogue à un actionneur tel qu'une main humaine.

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

△ Figure 1 Architecture du système matériel

Ces nœuds sont connectés via ROS et communiquent via l'abonnement et la publication de messages dans ROS ou la demande et la réponse de services, ce qui est différent du traditionnel de bout en bout contrôle de grand modèle de robot.

Cette architecture permet à l'agent de se concentrer sur la génération de commandes de haut niveau, de disposer d'une intelligence plus forte pour les tâches de haut niveau et d'avoir une meilleure robustesse et fiabilité pour l'exécution réelle.

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

Le contenu qui doit être réécrit est : △Figure 2 Architecture du système logiciel Contenu réécrit : L'architecture du système logiciel est présentée dans la figure 2

Nouvel Agent

Sous cette architecture, l'auteur a construit AeroAgent, un agent intelligent qui sert de cerveau.

L'agent se compose principalement de trois parties :

  • Un module de génération automatique de plans, doté de capacités de perception et de surveillance multimodales, et capable de gérer les urgences en mode veille.
  • Un module de mémoire de données multimodal qui peut être utilisé pour la récupération et la réflexion de la mémoire multimodale, donnant à l'agent la possibilité d'apprendre avec peu d'échantillons.
  • Un module d'action intelligent incarné peut établir un pont pour un contrôle stable entre l'intelligence incarnée et d'autres modules sur ROS. Ce module offre la possibilité d'accéder à d'autres nœuds sur ROS en utilisant les opérations comme pont.

Dans le même temps, afin de mener à bien une action, plusieurs interactions peuvent être nécessaires pour obtenir les paramètres nécessaires pour effectuer l'action à partir du capteur afin de garantir que l'agent peut produire de manière stable des actions spécifiques basées sur une connaissance globale de la situation et des actionneurs. il possède

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

Le contenu qui doit être réécrit est : △Figure 3 Architecture du module AeroAgent Contenu réécrit : △Figure 3 Conception de l'architecture du module AeroAgent

Un pont reliant les grands modèles et ROS

Afin de construire un pont entre l'agent incarné et le système robot ROS, afin que les opérations générées par l'agent puissent être correctement et de manière stable envoyé à ROS est exécuté avec succès par d'autres nœuds, et en même temps, les informations fournies par d'autres nœuds peuvent être lues et comprises par LMM L'équipe a conçu ROSchain -

Un pont reliant les LLM/LMM à ROS

ROSchain passe un. Un ensemble de modules et d'interfaces de programme d'application (API) simplifient l'intégration de grands modèles avec des dispositifs de détection de robot, des unités d'exécution et des mécanismes de contrôle, fournissant ainsi un middleware stable permettant aux agents intelligents d'accéder au système ROS.

Pourquoi choisir les drones

L'équipe de recherche a donné trois raisons pour expliquer pourquoi elle a choisi les drones pour effectuer des tests et des simulations de cette architecture système

Premièrement, l'échelle du Web contenue dans les connaissances mondiales des LMM actuelles provient principalement d'un tiers- perspective de la personne. L'intelligence incarnée dans des domaines tels que les robots humanoïdes est similaire à la perspective à la première personne avec les humains comme sujet.

La caméra du drone, en particulier la caméra orientée vers le bas, ressemble davantage à une perspective à la troisième personne (la perspective de Dieu) de l'intelligence des organismes

D'un autre côté, les LMM actuels, qu'il s'agisse de déploiement de modèles ou de services API, sont généralement limitées par les ressources informatiques et entraînent un certain retard dans la réponse.

La planification des missions des drones est due à leur capacité à planer et à faire face aux retards, ce qui constitue un obstacle à l'application dans des domaines tels que la conduite autonome.

Ces deux points font des drones des pionniers au niveau actuel de développement technologique. . Vérification des théories et applications pertinentes.

Deuxièmement, actuellement dans le domaine des drones industriels, tels que le sauvetage en cas d'incendie de forêt, l'agriculture, la foresterie et la protection des plantes, le pâturage sans pilote, l'inspection électrique, etc., les pilotes et les experts coopèrent avec les opérations réelles, tâches intelligentesexécution avec des caractéristiques industrielles nécessaires.

Troisièmement, du point de vue du développement futur, la Collaboration multi-agents a des besoins évidents dans les domaines de la logistique, de la construction, des usines et d'autres domaines.

Dans ce domaine, le drone, en tant qu'intelligence incarnée du « point de vue de Dieu », convient en tant que leader du nœud central pour attribuer les tâches. D'autres robots peuvent donc être considérés comme faisant partie de l'actionneur du drone. la recherche a aussi des perspectives de développement futur.

L'équipe a utilisé l'émulateur d'airgen pour mener des expériences de simulation et a également sélectionné DRL et d'autres méthodes comme groupe témoin. Voici les résultats expérimentaux :

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

Dans le scénario de recherche et de sauvetage en cas d'incendie de forêt, AeroAgent a obtenu un excellent score de 100 points sous le score standardisé, avec une moyenne de 2,04 points par étape

En appelant simplement LLM ou DRL Les agents basés sur les services n'ont obtenu que 29,4 points, avec une moyenne de 0,2 par étape, soit moins d'un dixième d'AeroAgent.

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

Le contenu qui doit être réécrit est : △Image n° 4-1, scène de sauvetage en cas d'incendie de forêt

Dans la tâche d'atterrissage, AeroAgent a également surpassé les autres modèles avec un score total de 97,4 et un score moyen par étape de 48.7.

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

Le contenu qui doit être réécrit est : △Figure 4-2 Scène d'atterrissage sur l'aire de trafic maritime

Lors du test d'inspection des éoliennes, AeroAgent est directement devenu le seul modèle capable d'accomplir la tâche.

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

△ Figure 4-3 Scène d'inspection d'éolienne

Dans la tâche de navigation, le score de chaque étape d'AeroAgent 4.44 est 40 fois et près de 10 fois celui du DRL et du LLM pur respectivement

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

doit être réécrit Le contenu est : △Figure 4-4 Expérience de simulation Airgen

L'équipe a également testé le système de drone dans un scénario réel, en utilisant une simple expérience de guidage de personnes piégées comme exemple pour mener une étude de cas.

Léquipe de lUniversité de Beihang propose une nouvelle architecture dintelligence embarquée pour réaliser le contrôle des gros drones

Le contenu qui doit être réécrit est : △ Figure 5 : expérience de cas de guidage de personnes piégées

L'équipe se base actuellement sur ce travail et mène des expériences sur des drones intelligents sans pilote dans un pâturage de yacks de plateau pour explorer la possibilité De son application pratique sera explorée dans le but « d’incarner l’intelligence » avec d’autres collaborations robots/multi-robots.

Adresse papier : https://arxiv.org/abs/2311.15033

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Apr 08, 2025 pm 12:24 PM

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Comment résoudre MySQL ne peut pas être démarré Comment résoudre MySQL ne peut pas être démarré Apr 08, 2025 pm 02:21 PM

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Apr 08, 2025 pm 12:27 PM

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

Mysql peut-il renvoyer JSON Mysql peut-il renvoyer JSON Apr 08, 2025 pm 03:09 PM

MySQL peut renvoyer les données JSON. La fonction JSON_Extract extrait les valeurs de champ. Pour les requêtes complexes, envisagez d'utiliser la clause pour filtrer les données JSON, mais faites attention à son impact sur les performances. Le support de MySQL pour JSON augmente constamment, et il est recommandé de faire attention aux dernières versions et fonctionnalités.

La clé principale de MySQL peut être nul La clé principale de MySQL peut être nul Apr 08, 2025 pm 03:03 PM

La clé primaire MySQL ne peut pas être vide car la clé principale est un attribut de clé qui identifie de manière unique chaque ligne dans la base de données. Si la clé primaire peut être vide, l'enregistrement ne peut pas être identifié de manière unique, ce qui entraînera une confusion des données. Lorsque vous utilisez des colonnes entières ou des UUIdes auto-incrémentales comme clés principales, vous devez considérer des facteurs tels que l'efficacité et l'occupation de l'espace et choisir une solution appropriée.

MySQL ne peut pas être installé après le téléchargement MySQL ne peut pas être installé après le téléchargement Apr 08, 2025 am 11:24 AM

Les principales raisons de la défaillance de l'installation de MySQL sont les suivantes: 1. Problèmes d'autorisation, vous devez s'exécuter en tant qu'administrateur ou utiliser la commande sudo; 2. Des dépendances sont manquantes et vous devez installer des packages de développement pertinents; 3. Conflits du port, vous devez fermer le programme qui occupe le port 3306 ou modifier le fichier de configuration; 4. Le package d'installation est corrompu, vous devez télécharger et vérifier l'intégrité; 5. La variable d'environnement est mal configurée et les variables d'environnement doivent être correctement configurées en fonction du système d'exploitation. Résolvez ces problèmes et vérifiez soigneusement chaque étape pour installer avec succès MySQL.

Comprendre les propriétés acides: les piliers d'une base de données fiable Comprendre les propriétés acides: les piliers d'une base de données fiable Apr 08, 2025 pm 06:33 PM

Une explication détaillée des attributs d'acide de base de données Les attributs acides sont un ensemble de règles pour garantir la fiabilité et la cohérence des transactions de base de données. Ils définissent comment les systèmes de bases de données gérent les transactions et garantissent l'intégrité et la précision des données même en cas de plantages système, d'interruptions d'alimentation ou de plusieurs utilisateurs d'accès simultanément. Présentation de l'attribut acide Atomicité: une transaction est considérée comme une unité indivisible. Toute pièce échoue, la transaction entière est reculée et la base de données ne conserve aucune modification. Par exemple, si un transfert bancaire est déduit d'un compte mais pas augmenté à un autre, toute l'opération est révoquée. BeginTransaction; UpdateAccountSsetBalance = Balance-100Wh

See all articles