Périphériques technologiques
IA
Entraînez votre chien robot en temps réel avec Vision Pro ! Le projet open source d'un doctorant du MIT devient populaire
Entraînez votre chien robot en temps réel avec Vision Pro ! Le projet open source d'un doctorant du MIT devient populaire
Vision Pro a un autre nouveau gameplay très intéressant, cette fois il est lié à l'intelligence incarnée ~
Juste comme ça, le gars du MIT a utilisé la fonction de suivi des mains de Vision Pro pour réussir à contrôler en temps réel le chien robot.
Non seulement des actions telles que l'ouverture d'une porte peuvent être obtenues avec précision :
, mais il n'y a également presque aucun délai.
Dès la sortie de la démo, non seulement les internautes ont fait l'éloge de Goose Girl, mais divers chercheurs en intelligence incarnée étaient également enthousiasmés.
Par exemple, ce futur doctorant de l'Université Tsinghua :
Certaines personnes prédisent avec audace : C'est ainsi que nous interagirons avec la prochaine génération de machines.
Comment mettre en œuvre le projet, l'auteur Park Younghyo(Younghyo Park) a été open source sur GitHub. Les applications pertinentes peuvent être téléchargées directement depuis l’App Store de Vision Pro.
Utilisez Vision Pro pour entraîner le chien robot
Jetons un coup d'œil en détail à l'application développée par l'auteur - Tracking Steamer.
Comme son nom l'indique, cette application est conçue pour utiliser Vision Pro pour suivre les mouvements humains et transmettre ces données de mouvement à d'autres appareils robots sous le même WiFi en temps réel.
La partie suivi de mouvement s'appuie principalement sur la bibliothèque ARKit d'Apple.
Le suivi de la tête appelle queryDeviceAnchor. Les utilisateurs peuvent réinitialiser le cadre principal à sa position actuelle en appuyant longuement sur la couronne numérique.
Le suivi du poignet et des doigts est mis en œuvre via HandTrackingProvider. Il est capable de suivre la position et l'orientation des poignets gauche et droit par rapport au cadre au sol, ainsi que la posture des 25 articulations des doigts de chaque main par rapport au cadre du poignet.
En termes de communication réseau, cette application utilise gRPC comme protocole de communication réseau pour diffuser des données. Cela permet aux données d'être souscrites sur davantage d'appareils, notamment les appareils Linux, Mac et Windows.
De plus, afin de faciliter la transmission des données, l'auteur a également préparé une API Python qui permet aux développeurs de s'abonner et de recevoir des données de suivi diffusées depuis Vision Pro par programmation.
Les données renvoyées par l'API sont sous forme de dictionnaire, y compris les informations de posture SE (3) de la tête, du poignet et des doigts, c'est-à-dire la position et l'orientation tridimensionnelles. Les développeurs peuvent traiter ces données directement dans Python pour une analyse plus approfondie et un contrôle du robot.
Comme de nombreux professionnels l'ont souligné, que les mouvements du chien robot soient ou non toujours contrôlés par des humains, en fait, par rapport au « contrôle » lui-même, combiné à l'algorithme d'apprentissage par imitation, les humains sont plus capables de ce processus. Comme un entraîneur de robot.
Vision Pro fournit une méthode d'interaction intuitive et simple en suivant les mouvements de l'utilisateur, permettant aux non-professionnels de fournir des données d'entraînement précises pour les robots.
L'auteur lui-même a également écrit dans le journal :
Dans un avenir proche, les gens pourraient porter des appareils comme Vision Pro comme des lunettes quotidiennes. Imaginez la quantité de données que nous pouvons collecter grâce à ce processus !
Il s'agit d'une source de données prometteuse à partir de laquelle les robots peuvent apprendre comment les humains interagissent avec le monde réel.
Enfin, rappel, si vous souhaitez essayer ce projet open source, en plus d'un Vision Pro, vous devez également préparer :
- Compte de développeur Apple
- Accessoire de développeur Vision Pro (sangle de développeur, au prix de 299 $)
- Ordinateur Mac avec Xcode installé
Eh bien, il semble qu'Apple doive d'abord faire un profit (doge).
Lien du projet :https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Abandonnez l'architecture codeur-décodeur et utilisez le modèle de diffusion pour la détection des contours avec de meilleurs résultats. L'Université nationale de technologie de la défense a proposé DiffusionEdge.
Feb 07, 2024 pm 10:12 PM
Les réseaux actuels de détection des contours profonds adoptent généralement une architecture d'encodeur-décodeur, qui contient des modules d'échantillonnage ascendant et descendant pour mieux extraire les fonctionnalités à plusieurs niveaux. Cependant, cette structure limite le réseau à produire des résultats de détection de contour précis et détaillés. En réponse à ce problème, un article sur AAAI2024 propose une nouvelle solution. Titre de la thèse : DiffusionEdge : DiffusionProbabilisticModelforCrispEdgeDetection Auteurs : Ye Yunfan (Université nationale de technologie de la défense), Xu Kai (Université nationale de technologie de la défense), Huang Yuxing (Université nationale de technologie de la défense), Yi Renjiao (Université nationale de technologie de la défense), Cai Zhiping (Université nationale de technologie de la défense) Lien vers l'article : https ://ar
Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire !
Apr 03, 2024 pm 12:04 PM
0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr
Tongyi Qianwen est à nouveau open source, Qwen1.5 propose six modèles de volume et ses performances dépassent GPT3.5
Feb 07, 2024 pm 10:15 PM
À temps pour la Fête du Printemps, la version 1.5 du modèle Tongyi Qianwen (Qwen) est en ligne. Ce matin, la nouvelle de la nouvelle version a attiré l'attention de la communauté IA. La nouvelle version du grand modèle comprend six tailles de modèle : 0,5B, 1,8B, 4B, 7B, 14B et 72B. Parmi eux, les performances de la version la plus puissante surpassent GPT3.5 et Mistral-Medium. Cette version inclut le modèle de base et le modèle Chat et fournit une prise en charge multilingue. L'équipe Tongyi Qianwen d'Alibaba a déclaré que la technologie pertinente avait également été lancée sur le site officiel de Tongyi Qianwen et sur l'application Tongyi Qianwen. De plus, la version actuelle de Qwen 1.5 présente également les points forts suivants : prend en charge une longueur de contexte de 32 Ko ; ouvre le point de contrôle du modèle Base+Chat ;
Les grands modèles peuvent également être découpés, et Microsoft SliceGPT augmente considérablement l'efficacité de calcul de LAMA-2.
Jan 31, 2024 am 11:39 AM
Les grands modèles de langage (LLM) comportent généralement des milliards de paramètres et sont formés sur des milliards de jetons. Cependant, ces modèles sont très coûteux à former et à déployer. Afin de réduire les besoins de calcul, diverses techniques de compression de modèles sont souvent utilisées. Ces techniques de compression de modèles peuvent généralement être divisées en quatre catégories : distillation, décomposition tensorielle (y compris la factorisation de bas rang), élagage et quantification. Les méthodes d'élagage existent depuis un certain temps, mais beaucoup nécessitent un réglage fin de la récupération (RFT) après l'élagage pour maintenir les performances, ce qui rend l'ensemble du processus coûteux et difficile à faire évoluer. Des chercheurs de l'ETH Zurich et de Microsoft ont proposé une solution à ce problème appelée SliceGPT. L'idée principale de cette méthode est de réduire l'intégration du réseau en supprimant des lignes et des colonnes dans la matrice de pondération.
Point Transformer mis à jour : plus efficace, plus rapide et plus puissant !
Jan 17, 2024 am 08:27 AM
Titre original : PointTransformerV3 : Simpler, Faster, Stronger Lien article : https://arxiv.org/pdf/2312.10035.pdf Lien code : https://github.com/Pointcept/PointTransformerV3 Unité auteur : HKUSHAILabMPIPKUMIT Idée article : Cet article est non destiné à être publié dans À la recherche de l’innovation au sein du mécanisme d’attention. Au lieu de cela, il se concentre sur l’exploitation de la puissance de l’échelle pour surmonter les compromis existants entre précision et efficacité dans le contexte du traitement des nuages de points. S'inspirer des avancées récentes en matière d'apprentissage des représentations 3D à grande échelle,
Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle
La version Kuaishou de Sora 'Ke Ling' est ouverte aux tests : génère plus de 120 s de vidéo, comprend mieux la physique et peut modéliser avec précision des mouvements complexes
Jun 11, 2024 am 09:51 AM
Quoi? Zootopie est-elle concrétisée par l’IA domestique ? Avec la vidéo est exposé un nouveau modèle de génération vidéo domestique à grande échelle appelé « Keling ». Sora utilise une voie technique similaire et combine un certain nombre d'innovations technologiques auto-développées pour produire des vidéos qui comportent non seulement des mouvements larges et raisonnables, mais qui simulent également les caractéristiques du monde physique et possèdent de fortes capacités de combinaison conceptuelle et d'imagination. Selon les données, Keling prend en charge la génération de vidéos ultra-longues allant jusqu'à 2 minutes à 30 ips, avec des résolutions allant jusqu'à 1080p, et prend en charge plusieurs formats d'image. Un autre point important est que Keling n'est pas une démo ou une démonstration de résultats vidéo publiée par le laboratoire, mais une application au niveau produit lancée par Kuaishou, un acteur leader dans le domaine de la vidéo courte. De plus, l'objectif principal est d'être pragmatique, de ne pas faire de chèques en blanc et de se mettre en ligne dès sa sortie. Le grand modèle de Ke Ling est déjà sorti à Kuaiying.
La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données.
Apr 29, 2024 pm 06:55 PM
Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.
