Périphériques technologiques
IA
Alors que je discutais encore avec ChatGPT, quelqu'un avait déjà commencé à l'utiliser pour contrôler le robot afin qu'il effectue son travail.
Alors que je discutais encore avec ChatGPT, quelqu'un avait déjà commencé à l'utiliser pour contrôler le robot afin qu'il effectue son travail.
Avez-vous déjà eu envie de dire à un robot quoi faire en utilisant vos propres mots, tout comme si vous parliez à un humain ?
Par exemple, dites simplement à votre robot assistant domestique "S'il vous plaît, réchauffez mon déjeuner" et il trouvera le micro-ondes tout seul. Incroyable, non ?
Bien que le langage soit le moyen le plus intuitif pour les humains d'exprimer leurs intentions, pendant longtemps, les gens se sont encore largement appuyés sur des codes manuscrits pour contrôler les robots. Cependant, lorsque ChatGPT apparaîtra, cette situation changera.
Dans une étude récente, une équipe Microsoft explore comment utiliser le nouveau modèle de langage d'IA d'OpenAI, ChatGPT, pour rendre possible l'interaction naturelle entre l'homme et la machine.
Lien papier : https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf
ChatGPT est un langage texte et A modèle formé sur un corpus d’interactions humaines afin qu’il puisse générer des réponses cohérentes et grammaticalement correctes à un large éventail d’invites et de questions. Le but de cette recherche est de voir si ChatGPT peut penser au-delà du texte et raisonner sur le monde réel pour aider les robots à accomplir des tâches. Les chercheurs espèrent que cela permettra aux gens d'interagir plus facilement avec les robots sans avoir à apprendre des langages de programmation complexes ou les détails des systèmes robotiques.
Le principal défi de la recherche est d'enseigner à ChatGPT comment résoudre des problèmes en tenant compte des lois de la physique, de l'environnement opérationnel et de la façon dont le robot utilise les mouvements du corps pour modifier l'environnement.
Il s'avère que ChatGPT peut faire beaucoup de choses tout seul, mais il a encore besoin d'aide. Dans cet article, l'équipe décrit une série de principes de conception qui peuvent être utilisés pour guider les modèles de langage dans la résolution de tâches robotiques, notamment (mais sans s'y limiter) des structures d'invite ad hoc, des API de haut niveau et des commentaires via du texte humain. Les chercheurs pensent que ce travail n’est que le début d’une transformation dans le développement de systèmes robotiques et espèrent que cette étude inspirera d’autres chercheurs à rejoindre ce domaine de recherche intéressant.
Les défis auxquels est confrontée la robotique d'aujourd'hui et comment ChatGPT peut aider
Le processus actuel de fonctionnement des robots commence avec les ingénieurs ou les utilisateurs techniques, qui doivent convertir les exigences des tâches en code système. Les ingénieurs seront au courant du flux de travail, écrivant constamment du nouveau code et des spécifications pour corriger le comportement du robot. Dans l’ensemble, ce processus est lent (les utilisateurs doivent écrire du code de bas niveau), coûteux (nécessite des utilisateurs hautement qualifiés ayant une connaissance approfondie de la robotique) et inefficace (nécessite plusieurs interactions pour fonctionner correctement).
Mais ChatGPT ouvre un nouveau paradigme de bot et permet aux utilisateurs potentiellement non techniques de s'impliquer dans la boucle, en alimentant de grands modèles de langage (LLM) tout en surveillant les performances du bot. Commentaires avancés. En suivant les principes de conception recherchés, ChatGPT peut générer du code pour des scénarios robotiques. Sans aucun réglage fin, l’étude exploite les connaissances du LLM pour contrôler différentes formes de robots pour diverses tâches. Dans leurs travaux, les chercheurs ont démontré plusieurs exemples de ChatGPT résolvant des défis robotiques, ainsi que des déploiements de robots complexes dans les domaines opérationnels, aériens et de navigation.
Bots et ChatGPT : principes de conception
Prompting LLM est une science hautement empirique. La recherche a établi un ensemble de méthodes et de principes de conception pour écrire des invites pour les tâches du robot par essais et erreurs :
- Tout d'abord, la recherche a défini un ensemble d'API ou de bibliothèques de fonctions de robot de haut niveau. Cette bibliothèque peut être spécifique à un robot particulier et correspondre à une implémentation de bas niveau existante dans la pile de contrôle ou la bibliothèque de perception du robot. Il est important d'utiliser des noms descriptifs pour les API de haut niveau afin que ChatGPT puisse déduire leur comportement.
- Ensuite, les chercheurs ont écrit une invite de texte pour ChatGPT qui décrit l'objectif de la tâche tout en indiquant clairement quelles fonctions des bibliothèques de haut niveau sont concernées ; disponible de. Les invites peuvent également inclure des informations sur les contraintes des tâches ou sur la manière dont ChatGPT doit former ses réponses (un langage de codage spécifique, utilisant des éléments d'analyse auxiliaires)
- Les utilisateurs évaluent le code de sortie de ChatGPT dans la boucle, soit par inspection directe, soit à l'aide d'un simulateur ; S'ils le souhaitent, les utilisateurs peuvent fournir des commentaires à ChatGPT sur la qualité et la sécurité de leurs réponses en utilisant un langage naturel.
Si l'utilisateur est satisfait de la solution, le code peut enfin être déployé sur le robot.
Assez de théories, que peut faire exactement ChatGPT ?
Regardons quelques exemples, vous pouvez également trouver d'autres études de cas dans le référentiel.
Planification de mission à échantillon zéro
Les chercheurs ont laissé ChatGPT contrôler un vrai drone, et il s'est avéré être une interface linguistique très intuitive entre les utilisateurs non techniques et le robot. Lorsque les instructions utilisateur sont ambiguës, ChatGPT pose des questions de clarification et écrit des structures de code complexes pour que le drone inspecte visuellement l'architecture, telles que des motifs en zigzag. Il a même appris à prendre des selfies ! Les chercheurs ont également utilisé le simulateur Microsoft AirSim pour utiliser ChatGPT dans un scénario d'inspection industrielle simulé. Le modèle est capable d'analyser efficacement les intentions de haut niveau et les indices géométriques de l'utilisateur pour contrôler avec précision le drone.
Les utilisateurs dans la boucle : lorsque des tâches complexes nécessitent une conversation
Ensuite, les chercheurs ont utilisé ChatGPT pour des scénarios de fonctionnement du bras robotique et utilisé le feedback conversationnel pour enseigner le modèle comment combiner l'API initialement fournie dans des fonctions avancées plus complexes : programmation automatique ChatGPT. Le modèle est capable de relier logiquement les compétences acquises en utilisant des stratégies basées sur le programme pour effectuer des actions telles que l'empilement de blocs. 
Pendant la phase expérimentale, les chercheurs ont mené des expériences supplémentaires pour évaluer si ChatGPT pouvait prendre des décisions en temps réel sur l'endroit où le robot devait aller en fonction des retours des capteurs (plutôt que de laisser ChatGPT générer une boucle de code pour prendre ces décisions). Fait intéressant, il a été vérifié qu'une description textuelle de l'image de la caméra pouvait être insérée dans chaque étape de la conversation, et le modèle était capable de comprendre comment contrôler le robot jusqu'à ce qu'il atteigne un objet spécifique.
PromptCraft, LLM + outil collaboratif open source pour la recherche en robotique
Bonne L'ingénierie Prompt est essentielle au succès des grands modèles de langage, tels que ChatGPT pour les tâches robotiques. Malheureusement, Prompt est une science empirique et il manque de ressources complètes et accessibles, y compris un mélange d'exemples pour aider les chercheurs et les passionnés du domaine. Pour combler cette lacune, les chercheurs ont introduit « PromptCraft », une plateforme collaborative open source où chacun peut partager des exemples de stratégies Prompt pour différentes catégories de robots, et les chercheurs ont publié tous les outils utilisés dans cette étude.
En plus de la conception Prompt, la recherche espère également inclure plusieurs simulateurs de robots et interfaces permettant aux utilisateurs de tester leurs algorithmes générés par ChatGPT. Pour commencer, la recherche a également publié un environnement AirSim intégré à ChatGPT que tout le monde peut utiliser pour développer ces idées.
Interface ChatGPT-AirSim
Laissez les robots sortir du laboratoire et entrer dans le monde
La sortie de ces technologies mérite d'être célébrée, car elle élargira le public de la technologie robotique. Les chercheurs de Microsoft pensent que le contrôle des robots basé sur le langage jettera les bases pour faire sortir les robots des laboratoires scientifiques et les intégrer dans la vie des utilisateurs quotidiens.
Cet article tient à souligner que la sortie de ChatGPT n'est pas destinée à être déployée directement sur un robot sans une analyse minutieuse. Les chercheurs encouragent les utilisateurs à exploiter la puissance de la simulation afin d’évaluer ces algorithmes avant un éventuel déploiement réel et à toujours prendre les précautions de sécurité nécessaires. Les travaux décrits dans cet article ne représentent qu’une petite partie de ce qui est possible à l’intersection des modèles de langage à grande échelle opérant dans le domaine de la robotique et, espérons-le, inspireront d’autres recherches.
Lien original : https://www.microsoft.com/en-us/research/group/autonomous-systems-group-robotics/articles/chatgpt-for-robotics/
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
ChatGPT permet désormais aux utilisateurs gratuits de générer des images en utilisant DALL-E 3 avec une limite quotidienne
Aug 09, 2024 pm 09:37 PM
Le DALL-E 3 a été officiellement introduit en septembre 2023 en tant que modèle considérablement amélioré par rapport à son prédécesseur. Il est considéré comme l’un des meilleurs générateurs d’images IA à ce jour, capable de créer des images avec des détails complexes. Cependant, au lancement, c'était exclu
L'Ameca deuxième génération est là ! Il peut communiquer couramment avec le public, ses expressions faciales sont plus réalistes et il peut parler des dizaines de langues.
Mar 04, 2024 am 09:10 AM
Le robot humanoïde Ameca est passé à la deuxième génération ! Récemment, lors de la Conférence mondiale sur les communications mobiles MWC2024, le robot le plus avancé au monde, Ameca, est à nouveau apparu. Autour du site, Ameca a attiré un grand nombre de spectateurs. Avec la bénédiction de GPT-4, Ameca peut répondre à divers problèmes en temps réel. "Allons danser." Lorsqu'on lui a demandé si elle avait des émotions, Ameca a répondu avec une série d'expressions faciales très réalistes. Il y a quelques jours à peine, EngineeredArts, la société britannique de robotique derrière Ameca, vient de présenter les derniers résultats de développement de l'équipe. Dans la vidéo, le robot Ameca a des capacités visuelles et peut voir et décrire toute la pièce et des objets spécifiques. Le plus étonnant, c'est qu'elle peut aussi
Le premier robot capable d'accomplir de manière autonome des tâches humaines apparaît, avec cinq doigts flexibles et rapides, et de grands modèles prennent en charge l'entraînement dans l'espace virtuel
Mar 11, 2024 pm 12:10 PM
Cette semaine, FigureAI, une entreprise de robotique investie par OpenAI, Microsoft, Bezos et Nvidia, a annoncé avoir reçu près de 700 millions de dollars de financement et prévoit de développer un robot humanoïde capable de marcher de manière autonome au cours de la prochaine année. Et l’Optimus Prime de Tesla a reçu à plusieurs reprises de bonnes nouvelles. Personne ne doute que cette année sera celle de l’explosion des robots humanoïdes. SanctuaryAI, une entreprise canadienne de robotique, a récemment lancé un nouveau robot humanoïde, Phoenix. Les responsables affirment qu’il peut accomplir de nombreuses tâches de manière autonome, à la même vitesse que les humains. Pheonix, le premier robot au monde capable d'accomplir des tâches de manière autonome à la vitesse d'un humain, peut saisir, déplacer et placer avec élégance chaque objet sur ses côtés gauche et droit. Il peut identifier des objets de manière autonome
Comment l'IA peut-elle rendre les robots plus autonomes et adaptables ?
Jun 03, 2024 pm 07:18 PM
Dans le domaine de la technologie de l’automatisation industrielle, il existe deux points chauds récents qu’il est difficile d’ignorer : l’intelligence artificielle (IA) et Nvidia. Ne changez pas le sens du contenu original, affinez le contenu, réécrivez le contenu, ne continuez pas : « Non seulement cela, les deux sont étroitement liés, car Nvidia ne se limite pas à son unité de traitement graphique d'origine (GPU ), il étend son GPU. La technologie s'étend au domaine des jumeaux numériques et est étroitement liée aux technologies émergentes d'IA "Récemment, NVIDIA a conclu une coopération avec de nombreuses entreprises industrielles, notamment des sociétés d'automatisation industrielle de premier plan telles qu'Aveva, Rockwell Automation, Siemens. et Schneider Electric, ainsi que Teradyne Robotics et ses sociétés MiR et Universal Robots. Récemment, Nvidiahascoll
Après 2 mois, le robot humanoïde Walker S peut plier les vêtements
Apr 03, 2024 am 08:01 AM
Rédacteur en chef du Machine Power Report : Wu Xin La version domestique de l'équipe robot humanoïde + grand modèle a accompli pour la première fois la tâche d'exploitation de matériaux flexibles complexes tels que le pliage de vêtements. Avec le dévoilement de Figure01, qui intègre le grand modèle multimodal d'OpenAI, les progrès connexes des pairs nationaux ont attiré l'attention. Hier encore, UBTECH, le « stock numéro un de robots humanoïdes » en Chine, a publié la première démo du robot humanoïde WalkerS, profondément intégré au grand modèle de Baidu Wenxin, présentant de nouvelles fonctionnalités intéressantes. Maintenant, WalkerS, bénéficiant des capacités de grands modèles de Baidu Wenxin, ressemble à ceci. Comme la figure 01, WalkerS ne se déplace pas, mais se tient derrière un bureau pour accomplir une série de tâches. Il peut suivre les commandes humaines et plier les vêtements
Comment installer chatgpt sur un téléphone mobile
Mar 05, 2024 pm 02:31 PM
Étapes d'installation : 1. Téléchargez le logiciel ChatGTP depuis le site officiel ou la boutique mobile de ChatGTP ; 2. Après l'avoir ouvert, dans l'interface des paramètres, sélectionnez la langue chinoise 3. Dans l'interface de jeu, sélectionnez le jeu homme-machine et définissez la langue. Spectre chinois ; 4. Après avoir démarré, entrez les commandes dans la fenêtre de discussion pour interagir avec le logiciel.
Mar 22, 2024 pm 08:51 PM
Les 10 robots humanoïdes suivants façonnent notre avenir : 1. ASIMO : Développé par Honda, ASIMO est l'un des robots humanoïdes les plus connus. Mesurant 4 pieds de haut et pesant 119 livres, ASIMO est équipé de capteurs avancés et de capacités d'intelligence artificielle qui lui permettent de naviguer dans des environnements complexes et d'interagir avec les humains. La polyvalence d'ASIMO le rend adapté à une variété de tâches, allant de l'assistance aux personnes handicapées à la réalisation de présentations lors d'événements. 2. Pepper : Créé par Softbank Robotics, Pepper vise à être un compagnon social pour les humains. Avec son visage expressif et sa capacité à reconnaître les émotions, Pepper peut participer à des conversations, aider dans les commerces de détail et même fournir un soutien pédagogique. Poivrons
Le robot de balayage et de nettoyage Cloud Whale Xiaoyao 001 a un « cerveau » ! Expérience |
Apr 26, 2024 pm 04:22 PM
Les robots de balayage et de nettoyage sont l’un des appareils électroménagers intelligents les plus populaires auprès des consommateurs ces dernières années. La commodité d'utilisation qu'il apporte, voire l'absence d'opération, permet aux paresseux de libérer leurs mains, permettant aux consommateurs de « se libérer » des tâches ménagères quotidiennes et de consacrer plus de temps à ce qu'ils aiment. Une qualité de vie améliorée sous une forme déguisée. Surfant sur cet engouement, presque toutes les marques d'électroménager du marché fabriquent leurs propres robots de balayage et de nettoyage, rendant l'ensemble du marché des robots de balayage et de nettoyage très vivant. Cependant, l'expansion rapide du marché entraînera inévitablement un danger caché : de nombreux fabricants utiliseront la tactique de la mer de machines pour occuper rapidement plus de parts de marché, ce qui entraînera de nombreux nouveaux produits sans aucun point de mise à niveau. ce sont des modèles de "matriochka". Ce n'est pas une exagération. Cependant, tous les robots de balayage et de nettoyage ne sont pas
