Maison Périphériques technologiques IA Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il n'est plus difficile de faire face à des tâches de contrôle autonomes complexes

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il n'est plus difficile de faire face à des tâches de contrôle autonomes complexes

Feb 01, 2024 am 09:48 AM
产业 机器人技术 fmb Contrôle des fonctions

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Avec le développement rapide de l'intelligence artificielle et de la technologie robotique, l'importance de la manipulation fonctionnelle en robotique est devenue de plus en plus importante. Les tests benchmark traditionnels ne peuvent plus répondre aux besoins actuels des robots pour des tâches de manipulation complexes, nécessitant l'émergence de nouveaux benchmarks de manipulation (Functional Manipulation Benchmarks).

Aperçu

La manipulation d'un robot est confrontée à deux défis principaux : comment le robot gère intelligemment des dynamiques de contact complexes et comment faire face à la diversité des environnements et des objets. En réponse à ces défis, la technologie d’apprentissage robotique est considérée comme une solution clé. Par conséquent, le domaine a besoin d'un cadre complet et accessible qui fournit des tâches difficiles du monde réel, des données de haute qualité, des paramètres facilement reproductibles et des méthodes pertinentes intégrant les résultats de base. Sur la base de ce cadre, les chercheurs peuvent mener des expériences sur les tâches proposées. analyse en profondeur.

L'équipe de recherche du Robotics Intelligent Laboratory (RAIL) de l'Université de Californie à Berkeley, a proposé un benchmark du monde réel comme mentionné ci-dessus, appelé FMB (Functional Manipulation Benchmark for Generalizing Robotic Learning).

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

  • Page d'accueil du projet : https://functional-manipulation-benchmark.github.io/
  • Adresse du papier : https://arxiv.org/abs/2401.08553
  • Titre du papier : FMB : une référence de manipulation fonctionnelle pour l'apprentissage robotique généralisable
  • Page d'accueil du co-premier auteur : https://people.eecs.berkeley.edu/~jianlanluo/
  • https://charlesxu0124.github.io/

FMB présente les caractéristiques suivantes :

  • Conception innovante : la technologie d'impression 3D est utilisée pour produire des objets dans le cadre de la tâche visant à tester la capacité de généralisation du robot. Cette méthode est également facile à reproduire pour d'autres chercheurs.
  • Tâches diverses : y compris des tâches de manipulation en plusieurs étapes avec un seul objet et plusieurs objets, simulant véritablement les défis des environnements quotidiens.
  • Grands ensembles de données : grâce à un grand nombre de démonstrations humaines, le robot dispose d'un riche ensemble de données.
  • Base de référence d'apprentissage par imitation : à l'aide de méthodes d'apprentissage automatique de pointe, les résultats de base et les composants modulaires sont fournis pour être utilisés par d'autres chercheurs.

Objets et tâches

Les tâches dans FMB sont grossièrement divisées en deux catégories : les tâches de manipulation multi-étapes avec un seul objet et les tâches de manipulation multi-objets multi-étapes. Ces tâches sont conçues pour tester les compétences de base du robot telles que la préhension, le repositionnement et l'assemblage, qui sont nécessaires pour accomplir l'ensemble de la tâche. Les tâches de FMB nécessitent non seulement que le robot exécute une seule compétence de contrôle, mais également qu'il combine ces compétences pour effectuer des tâches en plusieurs étapes plus complexes.

La conception des tâches de FMB est flexible et modifiable. Les chercheurs peuvent choisir de se concentrer sur une seule compétence et étudier la capacité de contrôle du robot en profondeur selon les besoins, ou ils peuvent étudier des tâches complètes en plusieurs étapes, qui nécessitent que le robot effectue de longues tâches. -planification à terme et avoir la capacité de se remettre d'un échec. Des tâches plus complexes en plusieurs étapes nécessitent que le robot prenne des décisions complexes en temps réel, car elles impliquent de sélectionner des objets appropriés et de raisonner sur la séquence de leur manipulation.

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Grand ensemble de données

Dans le processus d'apprentissage des robots, le rôle des données ne peut être sous-estimé. Afin de permettre aux robots de mieux comprendre et maîtriser des tâches complexes, l’équipe de recherche a collecté un ensemble de données de démonstration humaine à grande échelle couvrant les tâches ci-dessus, contenant plus de 20 000 trajectoires opérationnelles. L'équipe de recherche a utilisé quatre caméras différentes pour enregistrer ces données de démonstration, dont deux étaient montées sur le poignet du robot et deux d'entre elles offraient une perspective globale. Ces caméras capturent des données telles que des informations sur l'image couleur RVB, des informations sur la profondeur, etc., qui sont essentielles pour que le robot apprenne à résoudre des tâches.

De plus, l'ensemble de données enregistre également les informations force/couple de l'effecteur final du robot, ce qui est très important pour les tâches comme l'assemblage qui nécessitent un contact avec un grand nombre d'objets. Grâce à ces riches données, les robots peuvent comprendre en profondeur chaque détail de la tâche et imiter plus précisément les compétences opérationnelles humaines. C’est précisément grâce à la profondeur et à l’étendue des données qu’elles constituent une base solide pour l’apprentissage des robots. Cela permet aux robots de répondre aux tâches de manière plus humaine et plus adroite lors de l’exécution de tâches complexes.

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Base de base d'apprentissage par imitation

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Schéma architectural de la stratégie de base.

Les deux modèles basés sur Transformer et ResNet utilisent un encodeur ResNet avec des poids partagés pour encoder chaque vue d'image, puis le combinent avec des informations proprioceptives et des fonctionnalités d'encodage d'objets facultatifs et de compétences de robot correspondantes, pour prédire les actions à 7 degrés. de liberté.

La partie expérimentale de FMB mène une série de tests sur les performances des systèmes d'apprentissage par imitation, en comparant différentes méthodes d'apprentissage et en explorant l'impact des différents modes de saisie et décisions de conception. Des expériences ont montré que l'utilisation d'informations sur la profondeur peut contribuer à améliorer l'efficacité des stratégies de préhension, et que les informations sur la force/le couple sont très importantes pour les tâches d'assemblage. Pour les tâches en plusieurs étapes, les méthodes traditionnelles ResNet, Transformer et Diffusion ont échoué, mais la méthode de contrôle hiérarchique proposée dans cet article montre son potentiel.

Tâche d'exploration

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Les résultats expérimentaux montrent que la stratégie ResNet qui intègre des informations de profondeur est systématiquement plus performante dans les tâches d'exploration que la stratégie qui utilise uniquement des informations RVB. Grâce à l'étude de réduction des données, l'équipe de recherche a exploré l'impact de différentes quantités de données d'entraînement sur les performances de la tâche d'exploration. Les résultats montrent que les performances de la stratégie ResNet qui intègre des informations de profondeur lors du traitement des objets vus s'amélioreront à mesure que la quantité de données d'entraînement augmentera. Notamment, cette stratégie montre des performances similaires aux objets vus pour les objets invisibles, indiquant que la diversité des objets d'entraînement contribue grandement à la capacité de généralisation du robot.

Tâches d'assemblage

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Dans les tâches d'assemblage, l'importance des informations force/couple est confirmée. Les informations force/couple sont très importantes pour la stratégie adoptée par le robot pour déterminer si l'objet a contacté la surface cible et pour mener efficacement des actions telles que la recherche.

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Cependant, lorsque la politique est entraînée sur tous les objets, le robot n'est pas toujours en mesure de mener à bien la tâche d'assemblage. En effet, la stratégie doit d'abord déterminer dans quel trou l'objet doit être inséré, puis générer les actions correspondantes, ce qui augmente considérablement la complexité de la tâche. Afin de résoudre ce problème, l'équipe de recherche a ajouté un mécanisme de sélection d'objets à la stratégie pour aider la stratégie à déterminer la forme des objets à assembler, se concentrant ainsi sur la génération d'actions d'assemblage correctes.

Tâches en plusieurs étapes

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Le cadre de
FMB se compose de deux tâches complexes. Ces tâches complexes nécessitent que les robots soient capables d’effectuer plusieurs étapes d’affilée, tout comme les humains. La méthode précédente consistait à laisser le robot apprendre l'intégralité du processus, mais cette méthode était sujette à l'accumulation d'erreurs dues à des erreurs dans un seul lien, conduisant finalement à l'échec de l'ensemble de la tâche. Cette approche a un taux de réussite de 0/10 dans les tâches de manipulation d'objets uniques et multiples.

Pour résoudre le problème des erreurs cumulatives, l'équipe de recherche a adopté une stratégie de contrôle hiérarchique. La stratégie hiérarchique décompose la tâche en plusieurs petits morceaux. Chaque morceau complété équivaut à passer un point de décision. Même si des erreurs surviennent, elles peuvent être rapidement corrigées pour éviter d'affecter les liens ultérieurs. Par exemple, si un robot ne parvient pas à saisir correctement un objet lors d’une saisie, il continuera d’essayer jusqu’à ce qu’il réussisse.

L'équipe de recherche a testé deux méthodes hiérarchiques. La première méthode fournit un vecteur efficace indiquant le type de tâche pour une seule stratégie, tandis que la seconde méthode entraîne différentes stratégies séparément pour chaque compétence de manipulation, toutes deux utilisant l'utilisation des instructions de l'opérateur comme méthode supérieure. Au niveau de la stratégie, l'équipe de recherche a constaté que les deux méthodes fonctionnaient bien lors des tests.

Les résultats des tests montrent l'efficacité de l'approche hiérarchique dans la gestion de tâches robotiques complexes et fournissent de nouvelles orientations de recherche pour les recherches futures.

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

Comme le montre l'image ci-dessus, le robot peut contrôler indépendamment les fonctions après l'apprentissage.

Référence de contrôle de robot à grande échelle de haute qualité open source de Berkeley, il nest plus difficile de faire face à des tâches de contrôle autonomes complexes

En général, les expériences ci-dessus démontrent l'innovation technologique de l'équipe de recherche dans le domaine de l'apprentissage des robots, et vérifient également que FMB est une référence appropriée pour développer des méthodes avancées d'apprentissage des robots. L’équipe de recherche attend avec impatience de futures recherches susceptibles de repousser davantage les limites de l’apprentissage robotique basé sur le FMB.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Aug 09, 2024 pm 04:01 PM

Mais peut-être qu’il ne pourra pas vaincre le vieil homme dans le parc ? Les Jeux Olympiques de Paris battent leur plein et le tennis de table suscite beaucoup d'intérêt. Dans le même temps, les robots ont également réalisé de nouvelles avancées dans le domaine du tennis de table. DeepMind vient tout juste de proposer le premier agent robot apprenant capable d'atteindre le niveau des joueurs amateurs humains de tennis de table de compétition. Adresse papier : https://arxiv.org/pdf/2408.03906 Quelle est la capacité du robot DeepMind à jouer au tennis de table ? Probablement à égalité avec les joueurs amateurs humains : tant en coup droit qu'en revers : l'adversaire utilise une variété de styles de jeu, et le robot peut également résister : recevoir des services avec des tours différents : Cependant, l'intensité du jeu ne semble pas aussi intense que le vieil homme dans le parc. Pour les robots, le tennis de table

La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison Aug 21, 2024 pm 07:33 PM

Le 21 août, la Conférence mondiale sur les robots 2024 s'est tenue en grande pompe à Pékin. La marque de robots domestiques de SenseTime, "Yuanluobot SenseRobot", a dévoilé toute sa famille de produits et a récemment lancé le robot de jeu d'échecs Yuanluobot AI - Chess Professional Edition (ci-après dénommé "Yuanluobot SenseRobot"), devenant ainsi le premier robot d'échecs au monde pour le maison. En tant que troisième produit robot jouant aux échecs de Yuanluobo, le nouveau robot Guoxiang a subi un grand nombre de mises à niveau techniques spéciales et d'innovations en matière d'IA et de machines d'ingénierie. Pour la première fois, il a réalisé la capacité de ramasser des pièces d'échecs en trois dimensions. grâce à des griffes mécaniques sur un robot domestique et effectuer des fonctions homme-machine telles que jouer aux échecs, tout le monde joue aux échecs, réviser la notation, etc.

Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Sep 02, 2024 pm 01:56 PM

La rentrée scolaire est sur le point de commencer, et ce ne sont pas seulement les étudiants qui sont sur le point de commencer le nouveau semestre qui doivent prendre soin d’eux-mêmes, mais aussi les grands modèles d’IA. Il y a quelque temps, Reddit était rempli d'internautes se plaignant de la paresse de Claude. « Son niveau a beaucoup baissé, il fait souvent des pauses et même la sortie devient très courte. Au cours de la première semaine de sortie, il pouvait traduire un document complet de 4 pages à la fois, mais maintenant il ne peut même plus produire une demi-page. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dans un post intitulé "Totalement déçu par Claude", plein de

Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Aug 22, 2024 pm 10:35 PM

Lors de la World Robot Conference qui se tient à Pékin, l'exposition de robots humanoïdes est devenue le centre absolu de la scène. Sur le stand Stardust Intelligent, l'assistant robot IA S1 a réalisé trois performances majeures de dulcimer, d'arts martiaux et de calligraphie. un espace d'exposition, capable à la fois d'arts littéraires et martiaux, a attiré un grand nombre de publics professionnels et de médias. Le jeu élégant sur les cordes élastiques permet au S1 de démontrer un fonctionnement fin et un contrôle absolu avec vitesse, force et précision. CCTV News a réalisé un reportage spécial sur l'apprentissage par imitation et le contrôle intelligent derrière "Calligraphy". Le fondateur de la société, Lai Jie, a expliqué que derrière les mouvements soyeux, le côté matériel recherche le meilleur contrôle de la force et les indicateurs corporels les plus humains (vitesse, charge). etc.), mais du côté de l'IA, les données réelles de mouvement des personnes sont collectées, permettant au robot de devenir plus fort lorsqu'il rencontre une situation forte et d'apprendre à évoluer rapidement. Et agile

L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o Sep 03, 2024 pm 05:18 PM

Intégration profonde de la vision et de l'apprentissage des robots. Lorsque deux mains de robot travaillent ensemble en douceur pour plier des vêtements, verser du thé et emballer des chaussures, associées au robot humanoïde 1X NEO qui a fait la une des journaux récemment, vous pouvez avoir le sentiment : nous semblons entrer dans l'ère des robots. En fait, ces mouvements soyeux sont le produit d’une technologie robotique avancée + d’une conception de cadre exquise + de grands modèles multimodaux. Nous savons que les robots utiles nécessitent souvent des interactions complexes et exquises avec l’environnement, et que l’environnement peut être représenté comme des contraintes dans les domaines spatial et temporel. Par exemple, si vous souhaitez qu'un robot verse du thé, le robot doit d'abord saisir la poignée de la théière et la maintenir verticalement sans renverser le thé, puis la déplacer doucement jusqu'à ce que l'embouchure de la théière soit alignée avec l'embouchure de la tasse. , puis inclinez la théière selon un certain angle. ce

Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

Les contributeurs ont beaucoup gagné de cette conférence ACL. L'ACL2024, d'une durée de six jours, se tient à Bangkok, en Thaïlande. ACL est la plus grande conférence internationale dans le domaine de la linguistique informatique et du traitement du langage naturel. Elle est organisée par l'Association internationale pour la linguistique informatique et a lieu chaque année. L'ACL s'est toujours classée première en termes d'influence académique dans le domaine de la PNL, et c'est également une conférence recommandée par le CCF-A. La conférence ACL de cette année est la 62e et a reçu plus de 400 travaux de pointe dans le domaine de la PNL. Hier après-midi, la conférence a annoncé le meilleur article et d'autres récompenses. Cette fois, il y a 7 Best Paper Awards (deux inédits), 1 Best Theme Paper Award et 35 Outstanding Paper Awards. La conférence a également décerné 3 Resource Paper Awards (ResourceAward) et Social Impact Award (

Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Aug 08, 2024 am 07:02 AM

Cet après-midi, Hongmeng Zhixing a officiellement accueilli de nouvelles marques et de nouvelles voitures. Le 6 août, Huawei a organisé la conférence de lancement de nouveaux produits Hongmeng Smart Xingxing S9 et Huawei, réunissant la berline phare intelligente panoramique Xiangjie S9, le nouveau M7Pro et Huawei novaFlip, MatePad Pro 12,2 pouces, le nouveau MatePad Air, Huawei Bisheng With de nombreux nouveaux produits intelligents tous scénarios, notamment la série d'imprimantes laser X1, FreeBuds6i, WATCHFIT3 et l'écran intelligent S5Pro, des voyages intelligents, du bureau intelligent aux vêtements intelligents, Huawei continue de construire un écosystème intelligent complet pour offrir aux consommateurs une expérience intelligente du Internet de tout. Hongmeng Zhixing : Autonomisation approfondie pour promouvoir la modernisation de l'industrie automobile intelligente Huawei s'associe à ses partenaires de l'industrie automobile chinoise pour fournir

L'IA utilisée | Le jeu fou Amway AI du président de Microsoft m'a torturé des milliers de fois L'IA utilisée | Le jeu fou Amway AI du président de Microsoft m'a torturé des milliers de fois Aug 14, 2024 am 12:00 AM

Rédacteur du Machine Power Report : Yang Wen La vague d’intelligence artificielle représentée par les grands modèles et l’AIGC a discrètement changé notre façon de vivre et de travailler, mais la plupart des gens ne savent toujours pas comment l’utiliser. C'est pourquoi nous avons lancé la rubrique « AI in Use » pour présenter en détail comment utiliser l'IA à travers des cas d'utilisation de l'intelligence artificielle intuitifs, intéressants et concis et stimuler la réflexion de chacun. Nous invitons également les lecteurs à soumettre des cas d'utilisation innovants et pratiques. Oh mon Dieu, l'IA est vraiment devenue un génie. Récemment, la difficulté de distinguer l’authenticité des images générées par l’IA est devenue un sujet brûlant. (Pour plus de détails, veuillez consulter : IA utilisée | Devenez une beauté de l'IA en trois étapes et retrouvez votre forme originale par l'IA en une seconde) En plus de la populaire dame IA de Google sur Internet, divers générateurs de FLUX ont apparu sur les plateformes sociales

See all articles