L'équipe chinoise a remporté les prix du meilleur article et du meilleur article système, et les résultats de la recherche CoRL ont été annoncés.

Depuis sa première tenue en 2017, CoRL est devenue l'une des conférences universitaires les plus importantes au monde à l'intersection de la robotique et de l'apprentissage automatique. CoRL est une conférence à thème unique pour la recherche sur l'apprentissage des robots, couvrant plusieurs sujets tels que la robotique, l'apprentissage automatique et le contrôle, y compris la théorie et l'application

La conférence CoRL 2023 se tiendra à Atlanta, aux États-Unis, du 6 au 9 novembre. Selon les données officielles, 199 articles provenant de 25 pays ont été sélectionnés pour CoRL cette année. Les sujets populaires incluent les opérations, l’apprentissage par renforcement, etc. Bien que CoRL soit à plus petite échelle que les grandes conférences universitaires sur l'IA telles que l'AAAI et le CVPR, à mesure que la popularité de concepts tels que les grands modèles, l'intelligence incarnée et les robots humanoïdes augmente cette année, des recherches pertinentes dignes d'attention seront également présentées à la conférence CoRL.

Actuellement, CoRL 2023 a officiellement annoncé le prix du meilleur article, le prix du meilleur article étudiant, le prix du meilleur article système et d'autres récompenses. Nous vous présenterons ensuite ces articles primés. "Meilleur article" Isola

Institution : MIT CSAIL, IAIFI

Adresse papier :

https://openreview.net/forum?id=Rb0nGIt_kh5

• Aperçu de la recherche : Actuellement, l'auto-supervision dans les modèles d'image Apprentissage et l'apprentissage supervisé des langues ont intégré de riches connaissances mondiales, essentielles à la capacité de généralisation du modèle. Cependant, les caractéristiques des images ne contiennent que des informations bidimensionnelles. Nous avons appris que dans les tâches robotiques, il est très important de comprendre la géométrie des objets tridimensionnels du monde réel
• En utilisant le Distilled Feature Field (DFF), cette recherche combine une géométrie tridimensionnelle précise combinée avec le sémantique riche du modèle de base 2D pour permettre au robot d'exploiter les riches a priori visuels et linguistiques du modèle de base 2D pour effectuer des opérations guidées par le langage
• Plus précisément, cette recherche Une méthode d'apprentissage en quelques coups pour 6- La saisie et le placement du DOF sont proposés et se généralisent aux objets invisibles en utilisant des priorités spatiales et sémantiques fortes. En utilisant des fonctionnalités extraites du modèle de langage visuel CLIP, cette étude propose une instruction ouverte en langage naturel pour opérer sur de nouveaux objets et démontre la capacité de la méthode à se généraliser à des expressions invisibles et à de nouveaux objets.

Les deux co-auteurs de cet article sont William Shen et Yang Ge, membres de l'équipe CSAIL « Embodied Intelligence » Yang Ge est le co-organisateur du CSAIL Embodied Intelligence Symposium 2023.

J'ai appris que "Heart of the Machine" a présenté cette recherche en détail, veuillez consulter "Quelle est la puissance des robots pris en charge par de grands modèles ? Le MIT CSAIL&IAIFI utilise le langage naturel pour guider les robots dans la saisie des objets"

Meilleur étudiant Article

Article : Des robots qui demandent de l'aide : alignement d'incertitudes pour les planificateurs de grands modèles de langage

Auteur : Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar

Institution : Princeton University, Google DeepMind

Adresse papier :

https://openreview.net/forum?id =4ZK8ODNyFXx

• Le grand modèle de langage (LLM) est une technologie avec de larges perspectives d'application, notamment dans le domaine de la robotique. Cependant, bien que le LLM montre un grand potentiel dans la planification étape par étape et le raisonnement de bon sens, il souffre également de certains problèmes d'illusion.
• Sur cette base, cette étude propose un nouveau cadre - KnowNo, pour la métrique et l'alignement basé sur l'incertitude. dans les planificateurs LLM. Cela permet au LLM de se rendre compte quelles informations sont inconnues et de demander de l'aide en cas de besoin.

  

  KnowNo est basé sur la théorie de la prédiction conforme, qui fournit des garanties statistiques de l'achèvement des tâches et est capable de minimiser l'intervention humaine dans les tâches de planification en plusieurs étapes

  La recherche a été menée sur divers robots simulés et réels. l'expérience KnowNo a été testée avec différents modes de tâches d'incertitude (y compris l'incertitude spatiale, l'incertitude numérique, etc.). Les résultats expérimentaux montrent que KnowNo fonctionne bien en termes d'amélioration de l'efficacité et de l'autonomie, surpasse les références et est sûr et digne de confiance. KnowNo peut être utilisé directement dans LLM sans réglage fin du modèle, fournissant une solution légère et efficace pour modéliser l'incertitude et complétant les capacités croissantes du modèle sous-jacent. "Meilleur article système"

  Institution : Université de Stanford, UIUC

  Adresse papier :

  https://openreview.net/forum?id=69y5fzvaAT
  • Introduction papier : Les humains sont doués pour créer et utiliser divers outils, Mais pour les robots, comprendre comment utiliser efficacement les outils et effectuer des opérations sur les objets correspondants reste un défi de taille. Cette recherche a construit un système robot intelligent nommé RoboCook, qui peut détecter, modéliser et manipuler des objets élasto-plastiques grâce à divers outils
  RoboCook utilise la représentation de scènes de nuages ​​de points, en utilisant des réseaux neuronaux Graph (GNN) pour modéliser les interactions outil-objet. et combinez la classification des outils avec un apprentissage politique auto-supervisé pour élaborer des plans d'action.
  • Cette étude montre qu'avec seulement 20 minutes de données d'interaction réelles pour chaque outil, RoboCook peut apprendre et manipuler le bras robotique pour accomplir certaines tâches complexes et à long terme de manipulation d'objets élastiques-plastiques, telles que faire des boulettes, Biscuits alphabétiques, etc.

  Selon les résultats expérimentaux, les performances de RoboCook sont nettement meilleures que la méthode SOTA existante, et il peut toujours faire preuve de stabilité face à de graves interférences externes, et son adaptabilité à différents matériaux est également meilleure

  Cela vaut la peine mentionnant que les co-auteurs de cet article sont Haochen Shi, doctorant de l'Université de Stanford, et Huazhe Xu, ancien chercheur postdoctoral à l'Université de Stanford et maintenant professeur adjoint à l'Institut des sciences de l'information interdisciplinaires de l'Université Tsinghua. Les auteurs de l'article sont Wu Jiajun, ancien élève de Yao Ban, professeur adjoint à l'Université de Stanford.

  La liste restreinte des articles gagnants a été annoncée

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!