Périphériques technologiques
IA
NPU lance un cadre de contrôle innovant pour les drones : permettant une interaction de type chat de groupe, une perception active de l'environnement et un contrôle autonome des drones
NPU lance un cadre de contrôle innovant pour les drones : permettant une interaction de type chat de groupe, une perception active de l'environnement et un contrôle autonome des drones
La super capacité de généralisation fait des grands modèles une lueur d'espoir pour « l'intelligence artificielle générale ».
Cependant, lire des milliers de livres n'est pas aussi efficace que parcourir des milliers de kilomètres. Dans un environnement ouvert, les grands modèles doivent véritablement « marcher » dans le monde physique afin de vraiment comprendre des tâches complexes et résoudre des problèmes pratiques.
Récemment, l’équipe du professeur Li Xuelong a mené des recherches innovantes sur les essaims de drones autonomes en environnement ouvert. Ils ont utilisé des modèles nationaux à grande échelle pour réaliser avec succès une interaction de dialogue homme-machine et multi-machine dans un environnement ouvert, brisant ainsi les barrières d'interaction entre les humains et les machines. Cette recherche élargit encore les scénarios d'application de la sécurité locale, permettant à de gros drones de voler dans la vie réelle.
Inspirée par des modèles cognitifs humains, notre équipe résume le processus cognitif hautement autonome comme « Penser l'entité informatique » « Contrôle-Perception de l'environnement » trois- interaction dimensionnelle et établi un cadre de contrôle de « discussion de groupe » pour les drones autonomes pilotés par le grand modèle open source « Scholar·Puyu ». Nous équipons chaque drone d'un cerveau intelligent, permettant au groupe de drones de collaborer de manière dynamique grâce à la communication linguistique pour obtenir une interaction intelligente, une perception active et un contrôle autonome dans des environnements ouverts et des tâches complexes. Cette décision améliore l'autonomie d'exécution des missions des drones
En général, les principales capacités des clusters de drones autonomes incluent l'interaction conversationnelle de type humain, la perception de l'environnement actif et le contrôle d'entité autonome
Interaction conversationnelle de type humain
Figure 1 Groupe de drones communication par chat
Explorer l'interaction entre les utilisateurs humains et les drones, permettant aux drones de comprendre les besoins des utilisateurs dans des tâches complexes, est une condition préalable à la réalisation de drones autonomes.
En réponse à cela, l'équipe a proposé une méthode d'interaction par dialogue de « discussion de groupe », qui convertit diverses informations telles que des sons, des images et l'état du drone lui-même en une forme de dialogue en langage naturel via un grand modèle, réalisant ainsi l'interaction. entre l’utilisateur et le drone et des interactions autonomes et intuitives entre les drones.
Afin d'améliorer la stabilité d'exécution et la sécurité des tâches complexes, l'équipe a conçu un mécanisme efficace de feedback en temps réel. Ce mécanisme permet au drone de signaler son statut par le biais d'un dialogue et de demander la confirmation de l'utilisateur aux nœuds clés de l'exécution de la mission. Dans le même temps, ce mécanisme peut également améliorer considérablement l'efficacité de l'exécution des tâches
Perception active de l'environnement
Figure 2 Découvrir et approcher activement la cible
Figure 3 Évitement d'obstacles dans un environnement dynamique
Pendant le vol , personne La détection automatique de l'environnement externe et l'ajustement de la planification des tâches en temps réel sont un maillon clé dans l'exécution de tâches complexes.
Afin de résoudre ce problème, l'équipe a développé un mécanisme de perception active guidé par la tâche et a proposé des algorithmes de recherche à basse altitude par fusion multi-capteurs, d'évitement dynamique d'obstacles et de positionnement visuel
Dans le processus d'exécution réel de la tâche, basé sur le informations de perception et tâche cible, nous pouvons ajuster dynamiquement la trajectoire de vol et la posture d'observation du drone. Nous pouvons essayer de percevoir le monde environnant sous différents angles et positions, et réduire progressivement l'incertitude dans l'environnement pour parvenir à une collecte d'informations et une exécution de tâches efficaces. Contrôle collaboratif d'un essaim hétérogène d'UAV
La recherche clé consiste à explorer la forme d'agents composites pour améliorer sa capacité à gérer des tâches complexes. À l'ère des grands modèles, il s'agit d'un domaine clé pour les nouveaux agents intelligents
Afin de résoudre ce problème, l'équipe R&D a utilisé la plateforme de drones pour concevoir des effecteurs finaux tels que des pinces, transformant les drones traditionnels en « robots volants ». c'est la capacité de saisir Dans le même temps, un mécanisme de contrôle collaboratif hétérogène du cluster d'UAV a également été établi, et combiné au retour de perception environnementale, l'état de vol de la formation d'UAV est ajusté en temps réel afin que le cluster puisse diviser le travail et coopérer pour effectuer des recherches et des cibles régionales telles que le positionnement et l'exploration
L'équipe a tenté avec succès d'appliquer le modèle d'interaction tridimensionnel de l'intelligence biologique « pensée informatique - contrôle des entités - perception de l'environnement » à des agents autonomes, formant ainsi un grand cluster de drones autonomes. Ce type de cluster utilise des modèles de langage à grande échelle, des plates-formes de drones et une variété de capteurs pour réaliser une interaction conversationnelle, une perception active et un contrôle autonome. Cette technologie revêt une grande importance pour l'application dans des scénarios de sécurité sur site tels que les inspections de sécurité, le sauvetage en cas de catastrophe et la logistique aérienne.
Références : Li Xuelong, Vicinagearth security, Communications of the China Computer Society, 18(11), 44- 52, 2022
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo.
May 07, 2024 pm 04:13 PM
Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale
L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao
Apr 09, 2024 am 11:52 AM
L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.
KAN, qui remplace MLP, a été étendu à la convolution par des projets open source
Jun 01, 2024 pm 10:03 PM
Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a
Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle
Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU
Apr 01, 2024 pm 07:46 PM
Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de
Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année !
May 06, 2024 pm 04:13 PM
La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles
FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye
Apr 26, 2024 am 11:37 AM
La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.
Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 |
Apr 29, 2024 pm 04:55 PM
Le FP8 et la précision de quantification inférieure en virgule flottante ne sont plus le « brevet » du H100 ! Lao Huang voulait que tout le monde utilise INT8/INT4, et l'équipe Microsoft DeepSpeed a commencé à exécuter FP6 sur A100 sans le soutien officiel de NVIDIA. Les résultats des tests montrent que la quantification FP6 de la nouvelle méthode TC-FPx sur A100 est proche ou parfois plus rapide que celle de INT4, et a une précision supérieure à celle de cette dernière. En plus de cela, il existe également une prise en charge de bout en bout des grands modèles, qui ont été open source et intégrés dans des cadres d'inférence d'apprentissage profond tels que DeepSpeed. Ce résultat a également un effet immédiat sur l'accélération des grands modèles : dans ce cadre, en utilisant une seule carte pour exécuter Llama, le débit est 2,65 fois supérieur à celui des cartes doubles. un
