


Avec une seule commande, vous pouvez préparer du café, verser du vin rouge et enfoncer des clous. La CoPa intelligente incarnée de Tsinghua est désormais disponible.
Récemment, de nombreux progrès ont été réalisés dans le sens de l'intelligence incarnée. Du RT-H de Google à la Figure 01 créée conjointement par OpenAI et Figure, les robots deviennent de plus en plus interactifs et polyvalents.
Si les robots deviennent à l’avenir des assistants dans la vie quotidienne des gens, quelles tâches attendez-vous d’eux qu’ils soient capables d’accomplir ? Préparez une tasse fumante de café infusé à la main, rangez le bureau et aidez-vous même à organiser un rendez-vous romantique. Le nouveau cadre d'intelligence incarnée de Tsinghua, « CoPa », peut accomplir ces tâches avec une seule commande.
CoPa (Robotic Manipulation through Spatial Constraints of Parts) est le dernier cadre intelligent proposé par l'équipe de recherche en robotique de l'Université Tsinghua sous la direction du professeur Gao Yang. Ce cadre atteint pour la première fois la capacité de généralisation du robot face à des tâches à longue distance et à des comportements 3D complexes dans une variété de scénarios.
Adresse papier : https://arxiv.org/abs/2403.08248
Page d'accueil du projet : https://copa-2024.github.io/
En raison du besoin de modèles de langage visuel Application unique des (VLM), CoPa peut généraliser dans des scénarios ouverts sans aucune formation spécifique et peut gérer des instructions complexes. Ce qui frappe le plus à propos de CoPa est sa capacité à démontrer une compréhension approfondie des propriétés physiques des objets de la scène, ainsi que ses capacités précises de planification et de manipulation.
Par exemple, CoPa peut aider les chercheurs à préparer une tasse de café infusé à la main :
Dans cette tâche, CoPa peut non seulement comprendre le rôle de chaque objet dans un affichage de table complexe, mais également compléter leur contrôle grâce à des contrôle. Opérations physiques. Par exemple, dans la tâche « Verser l'eau de la bouilloire dans l'entonnoir », le robot déplace la bouilloire sur l'entonnoir et la fait pivoter avec précision à l'angle approprié afin que l'eau puisse s'écouler de l'embouchure de la bouilloire dans l'entonnoir.
CoPa peut également organiser avec soin un rendez-vous romantique. Après avoir compris les besoins du chercheur en matière de rencontres, CoPa l’a aidé à installer une belle table à manger occidentale.
Tout en comprenant profondément les besoins des utilisateurs, CoPa démontre également sa capacité à manipuler des objets avec précision. Par exemple, dans la tâche « insérer une fleur dans un vase », le robot saisit d'abord la tige de la fleur, la fait tourner jusqu'à ce qu'elle soit face au vase, et enfin l'insère.

Introduction à la méthode
Flux d'algorithme
La plupart des tâches opérationnelles peuvent être décomposées en deux étapes : la saisie de l'objet et les actions ultérieures requises pour terminer la tâche. Par exemple, lors de l'ouverture d'un tiroir, nous devons d'abord saisir la poignée du tiroir, puis tirer le tiroir le long d'une ligne droite. Sur cette base, les chercheurs ont conçu deux étapes, à savoir d'abord via le « module de saisie orientée tâche (Task-Oriented Grasping) » pour générer la pose du robot saisissant l'objet, puis via le « module de planification de mouvement lié à la tâche ». Le module (Task-Aware) « Motion Planning) » génère la pose requise pour terminer la tâche après la saisie. Le transfert du robot entre des poses adjacentes peut être réalisé grâce à des algorithmes traditionnels de planification de trajectoire.
Module de détection de pièces importantes
Les chercheurs ont observé que la plupart des tâches de manipulation nécessitent une « compréhension détaillée au niveau des pièces » des objets de la scène. Par exemple, lorsque nous coupons avec un couteau, nous tenons le manche au lieu de la lame ; lorsque nous portons des lunettes, nous tenons la monture au lieu des verres. Sur la base de cette observation, l'équipe de recherche a conçu un « module de mise à la terre des parties grossières à fines » pour localiser les parties de la scène liées aux tâches. Plus précisément, CoPa localise d'abord les objets pertinents pour la tâche dans la scène grâce à une détection d'objets à gros grain, puis localise les parties de ces objets pertinentes pour la tâche grâce à une détection de pièces à grain fin.
Dans le "module de saisie orienté tâche", CoPa localise d'abord la position de saisie (telle que la poignée de l'outil) via le module de détection de pièces importantes. Ces informations de position sont utilisées pour filtrer GraspNet (un outil qui peut. générer un modèle de scènes de toutes les poses de préhension possibles), puis obtenir la pose de préhension finale.
Module de planification de mouvements liés aux tâches
Afin de permettre au grand modèle de langage visuel d'aider le robot à effectuer des tâches opérationnelles, cette recherche doit concevoir une interface qui permette non seulement au grand modèle de raisonner dans un langage, mais facilite également le fonctionnement du robot. L’équipe de recherche a découvert que lors de l’exécution des tâches, les objets liés aux tâches sont généralement soumis à de nombreuses contraintes géométriques spatiales. Par exemple, lors du chargement d'un téléphone portable, la tête de chargement doit être face au port de chargement ; lors du bouchage d'une bouteille, le capuchon doit être placé directement sur le goulot de la bouteille. Sur cette base, l’équipe de recherche a proposé d’utiliser les contraintes spatiales comme pont entre les grands modèles de langage visuel et les robots. Plus précisément, CoPa utilise d'abord un grand modèle de langage visuel pour générer les contraintes spatiales que les objets liés à la tâche doivent respecter lors de l'exécution de la tâche, puis utilise un module de résolution pour résoudre la pose du robot en fonction de ces contraintes.
Résultats expérimentaux
Évaluation des capacités de CoPa
CoPa a démontré de fortes capacités de généralisation dans des tâches opérationnelles réelles. CoPa possède une compréhension approfondie des propriétés physiques des objets de la scène, grâce à son utilisation de connaissances de bon sens intégrées dans de grands modèles du langage visuel.
Par exemple, dans la tâche « Marteler un clou », CoPa a d'abord saisi le manche du marteau, puis a fait tourner le marteau jusqu'à ce que la tête du marteau soit face au clou, et a finalement martelé vers le bas. La tâche nécessitait une identification précise du manche du marteau, de la face du marteau et de la face du clou, ainsi qu'une compréhension complète de leurs relations spatiales, démontrant la compréhension approfondie de CoPa des propriétés physiques des objets de la scène.
Dans la tâche consistant à "mettre la gomme dans le tiroir", CoPa a d'abord localisé l'emplacement de la gomme, puis a découvert qu'une partie de la gomme était enveloppée dans du papier, elle a donc intelligemment saisi cette partie pour s'assurer que le la gomme ne serait pas tachée.
Dans la tâche "insérer la cuillère dans la tasse", CoPa a d'abord saisi le manche de la cuillère, l'a traduit et l'a fait pivoter pour qu'elle soit face verticalement vers le bas, face à la tasse, et finalement l'a insérée dans la tasse, prouvant que CoPa peut facilement Bonne compréhension des contraintes géométriques spatiales que les objets doivent respecter pour accomplir des tâches.
L'équipe de recherche a mené suffisamment d'expériences quantitatives sur 10 tâches du monde réel. Comme le montre le tableau 1, CoPa surpasse considérablement les méthodes de base ainsi que de nombreuses variantes d'ablation sur ces tâches complexes.
Expériences d'ablation
Les chercheurs ont démontré l'importance des trois composants suivants dans le cadre CoPa à travers une série d'expériences d'ablation : modèle de base, détection de pièces grossières à fines et génération de restrictions spatiales. Les résultats expérimentaux sont présentés dans le tableau 1 ci-dessus.
Modèle de base
L'expérience CoPa sans ablation de fondation dans le tableau supprime l'utilisation du modèle de base dans CoPa et utilise à la place un modèle de détection pour localiser les objets et une méthode basée sur des règles pour générer des contraintes spatiales. Les résultats expérimentaux montrent que le taux de réussite de cette variante d’ablation est très faible, prouvant le rôle important des riches connaissances de bon sens contenues dans le modèle de base de CoPa. Par exemple, dans la tâche « Sweeping Nuts », la variante d'ablation ne sait pas quel outil de la scène est adapté au balayage.
Détection de pièces grossières à fines
L'expérience CoPa sans ablation grossière à fine dans le tableau supprime la conception de détection de pièces CoPa grossière à fine et utilise directement la segmentation à grain fin pour localiser des objets. Cette variante dégrade considérablement les performances dans la tâche relativement difficile de localisation de parties importantes d'un objet. Par exemple, dans la tâche « Marteler un clou », l'absence de conception « grossière à fine » rend difficile l'identification de la surface du marteau.
Génération de contraintes spatiales
L'expérience CoPa sans ablation de contraintes dans le tableau supprime le module de génération de contraintes spatiales de CoPa et permet à la place au grand modèle de langage visuel de générer directement les valeurs spécifiques du robot. pose cible. Les expériences montrent qu'il est très difficile de produire directement la pose de la cible du robot sur la base d'images de scène. Par exemple, dans la tâche « verser de l'eau », la bouilloire doit être inclinée selon un certain angle, et cette variante est totalement incapable de générer la posture du robot à ce moment-là.
Pour plus d'informations, veuillez vous référer au document original.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Mais peut-être qu’il ne pourra pas vaincre le vieil homme dans le parc ? Les Jeux Olympiques de Paris battent leur plein et le tennis de table suscite beaucoup d'intérêt. Dans le même temps, les robots ont également réalisé de nouvelles avancées dans le domaine du tennis de table. DeepMind vient tout juste de proposer le premier agent robot apprenant capable d'atteindre le niveau des joueurs amateurs humains de tennis de table de compétition. Adresse papier : https://arxiv.org/pdf/2408.03906 Quelle est la capacité du robot DeepMind à jouer au tennis de table ? Probablement à égalité avec les joueurs amateurs humains : tant en coup droit qu'en revers : l'adversaire utilise une variété de styles de jeu, et le robot peut également résister : recevoir des services avec des tours différents : Cependant, l'intensité du jeu ne semble pas aussi intense que le vieil homme dans le parc. Pour les robots, le tennis de table

Le 21 août, la Conférence mondiale sur les robots 2024 s'est tenue en grande pompe à Pékin. La marque de robots domestiques de SenseTime, "Yuanluobot SenseRobot", a dévoilé toute sa famille de produits et a récemment lancé le robot de jeu d'échecs Yuanluobot AI - Chess Professional Edition (ci-après dénommé "Yuanluobot SenseRobot"), devenant ainsi le premier robot d'échecs au monde pour le maison. En tant que troisième produit robot jouant aux échecs de Yuanluobo, le nouveau robot Guoxiang a subi un grand nombre de mises à niveau techniques spéciales et d'innovations en matière d'IA et de machines d'ingénierie. Pour la première fois, il a réalisé la capacité de ramasser des pièces d'échecs en trois dimensions. grâce à des griffes mécaniques sur un robot domestique et effectuer des fonctions homme-machine telles que jouer aux échecs, tout le monde joue aux échecs, réviser la notation, etc.

La rentrée scolaire est sur le point de commencer, et ce ne sont pas seulement les étudiants qui sont sur le point de commencer le nouveau semestre qui doivent prendre soin d’eux-mêmes, mais aussi les grands modèles d’IA. Il y a quelque temps, Reddit était rempli d'internautes se plaignant de la paresse de Claude. « Son niveau a beaucoup baissé, il fait souvent des pauses et même la sortie devient très courte. Au cours de la première semaine de sortie, il pouvait traduire un document complet de 4 pages à la fois, mais maintenant il ne peut même plus produire une demi-page. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dans un post intitulé "Totalement déçu par Claude", plein de

Lors de la World Robot Conference qui se tient à Pékin, l'exposition de robots humanoïdes est devenue le centre absolu de la scène. Sur le stand Stardust Intelligent, l'assistant robot IA S1 a réalisé trois performances majeures de dulcimer, d'arts martiaux et de calligraphie. un espace d'exposition, capable à la fois d'arts littéraires et martiaux, a attiré un grand nombre de publics professionnels et de médias. Le jeu élégant sur les cordes élastiques permet au S1 de démontrer un fonctionnement fin et un contrôle absolu avec vitesse, force et précision. CCTV News a réalisé un reportage spécial sur l'apprentissage par imitation et le contrôle intelligent derrière "Calligraphy". Le fondateur de la société, Lai Jie, a expliqué que derrière les mouvements soyeux, le côté matériel recherche le meilleur contrôle de la force et les indicateurs corporels les plus humains (vitesse, charge). etc.), mais du côté de l'IA, les données réelles de mouvement des personnes sont collectées, permettant au robot de devenir plus fort lorsqu'il rencontre une situation forte et d'apprendre à évoluer rapidement. Et agile

Intégration profonde de la vision et de l'apprentissage des robots. Lorsque deux mains de robot travaillent ensemble en douceur pour plier des vêtements, verser du thé et emballer des chaussures, associées au robot humanoïde 1X NEO qui a fait la une des journaux récemment, vous pouvez avoir le sentiment : nous semblons entrer dans l'ère des robots. En fait, ces mouvements soyeux sont le produit d’une technologie robotique avancée + d’une conception de cadre exquise + de grands modèles multimodaux. Nous savons que les robots utiles nécessitent souvent des interactions complexes et exquises avec l’environnement, et que l’environnement peut être représenté comme des contraintes dans les domaines spatial et temporel. Par exemple, si vous souhaitez qu'un robot verse du thé, le robot doit d'abord saisir la poignée de la théière et la maintenir verticalement sans renverser le thé, puis la déplacer doucement jusqu'à ce que l'embouchure de la théière soit alignée avec l'embouchure de la tasse. , puis inclinez la théière selon un certain angle. ce

Les contributeurs ont beaucoup gagné de cette conférence ACL. L'ACL2024, d'une durée de six jours, se tient à Bangkok, en Thaïlande. ACL est la plus grande conférence internationale dans le domaine de la linguistique informatique et du traitement du langage naturel. Elle est organisée par l'Association internationale pour la linguistique informatique et a lieu chaque année. L'ACL s'est toujours classée première en termes d'influence académique dans le domaine de la PNL, et c'est également une conférence recommandée par le CCF-A. La conférence ACL de cette année est la 62e et a reçu plus de 400 travaux de pointe dans le domaine de la PNL. Hier après-midi, la conférence a annoncé le meilleur article et d'autres récompenses. Cette fois, il y a 7 Best Paper Awards (deux inédits), 1 Best Theme Paper Award et 35 Outstanding Paper Awards. La conférence a également décerné 3 Resource Paper Awards (ResourceAward) et Social Impact Award (

Cet après-midi, Hongmeng Zhixing a officiellement accueilli de nouvelles marques et de nouvelles voitures. Le 6 août, Huawei a organisé la conférence de lancement de nouveaux produits Hongmeng Smart Xingxing S9 et Huawei, réunissant la berline phare intelligente panoramique Xiangjie S9, le nouveau M7Pro et Huawei novaFlip, MatePad Pro 12,2 pouces, le nouveau MatePad Air, Huawei Bisheng With de nombreux nouveaux produits intelligents tous scénarios, notamment la série d'imprimantes laser X1, FreeBuds6i, WATCHFIT3 et l'écran intelligent S5Pro, des voyages intelligents, du bureau intelligent aux vêtements intelligents, Huawei continue de construire un écosystème intelligent complet pour offrir aux consommateurs une expérience intelligente du Internet de tout. Hongmeng Zhixing : Autonomisation approfondie pour promouvoir la modernisation de l'industrie automobile intelligente Huawei s'associe à ses partenaires de l'industrie automobile chinoise pour fournir

L’intelligence artificielle se développe plus rapidement que vous ne l’imaginez. Depuis que GPT-4 a introduit la technologie multimodale aux yeux du public, les grands modèles multimodaux sont entrés dans une phase de développement rapide, passant progressivement de la recherche et du développement de modèles purs à l'exploration et à l'application dans des domaines verticaux, et sont profondément intégrés dans tous les horizons. Dans le domaine de l'interaction des interfaces, des géants internationaux de la technologie tels que Google et Apple ont investi dans la recherche et le développement de grands modèles d'interface utilisateur multimodaux, ce qui est considéré comme la seule voie à suivre pour la révolution de l'IA des téléphones mobiles. C’est dans ce contexte qu’est né le premier modèle d’assurance-chômage à grande échelle en Chine. Le 17 août, lors de la conférence internationale sur la conception d'expériences IXDC2024, Motiff, un outil de conception à l'ère de l'IA, a lancé son modèle multimodal d'interface utilisateur développé indépendamment - Motiff Model. Il s'agit du premier outil de conception d'interface utilisateur au monde
