Maison Périphériques technologiques IA Vers le monde numérique AGI! L'agent a commencé à jouer à 'Red Dead Redemption 2' à partir de zéro

Vers le monde numérique AGI! L'agent a commencé à jouer à 'Red Dead Redemption 2' à partir de zéro

Mar 15, 2024 am 08:20 AM
产业 cradle

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

Contrôle informatique général

La révolution de l'information a produit un monde numérique Le monde numérique fournit des données pour la naissance de grands modèles et est également le plus simple à mettre en œuvre l'Intelligence Artificielle générale (AGI). ).

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

Vers l'AGI dans le monde numérique, l'Institut de recherche sur l'intelligence artificielle Zhiyuan de Pékin, l'Université technologique de Nanyang de Singapour et l'Université de Pékin ont proposé conjointement le Contrôle informatique général (GCC), c'est-à-dire que l'agent intelligent doit examiner le écran comme un humain , effectuez toutes les tâches sur l'ordinateur via le clavier et la souris. Pendant longtemps, la recherche sur l'intelligence artificielle était basée sur les jeux, et GCC fournira un scénario pour la recherche générale sur l'intelligence artificielle et favorisera davantage la mise en œuvre et l'industrialisation de grands modèles et d'agents d'IA.

À cette fin, l'équipe de recherche a proposé
Cradle, un framework d'agent universel contrôlé par ordinateur, qui permet à l'agent de contrôler directement le clavier, la souris et toute interaction logicielle sans s'appuyer sur une API interne, qu'elle soit open source ou source fermée, et peut même jouer à "The Wilderness". Un chef-d'œuvre de jeu commercial AAA comme Red Dead Redemption 2 !

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

Titre de l'article : Vers un contrôle informatique général : un agent multimodal pour Red Dead Redemption II comme étude de cas
  • Lien de l'article : https://arxiv.org/abs/2403.03186
  • Projet Page d'accueil : https://baai-agents.github.io/Cradle/
  • Lien code : https://github.com/BAAI-Agents/Cradle
Avec le développement de grands modèles De plus en plus de recherches sur l'intelligence artificielle (AI Agents) se concentrent sur le contrôle informatique, notamment la navigation sur le Web, le fonctionnement des smartphones, les jeux, etc. Cependant, les recherches existantes s’appuient sur des API internes pour obtenir des actions prédéfinies d’entrée et de sortie. Pour créer un
agent universel
capable d'effectuer toutes les tâches sur un ordinateur, vous devez utiliser les entrées et sorties les plus courantes et les plus standard pour interagir avec l'ordinateur. Par conséquent, le contrôle informatique universel utilise des entrées et des sorties unifiées, rendant possible l’universalité des agents.
Mais la polyvalence entraîne des difficultés opérationnelles : (1) L'utilisation de l'écran de l'ordinateur comme entrée impose des exigences plus élevées à la capacité de compréhension vidéo de l'agent. Par exemple, puisqu'il n'y a pas d'API interne, les actions doivent être jugées à l'aide d'informations visuelles. l'exécution est réussie ; (2) L'utilisation des opérations du clavier et de la souris comme sortie nécessite que l'agent exige une précision d'opération spatio-temporelle plus élevée. Par exemple, les frappes au clavier et les clics de souris impliquent généralement des dimensions temporelles supplémentaires. Comment résoudre ces problèmes difficiles est le défi de créer des
Agents généraux contrôlés par ordinateur (Agents GCC)
 !

Cradle : Logiciel qui contrôle tout

"L'ordinateur fait référence à tout appareil informatique centré sur l'utilisateur, y compris les PC, les smartphones, les tablettes, etc. Bien que Cradle se concentre sur les opérations du clavier et de la souris, vous pouvez le est facile à étendre aux poignées de contrôle et aux écrans tactiles, etc. module. Le haut degré de polyvalence de Cradle vient de son encapsulation raisonnable et de son abstraction des entrées et sorties d'origine dans le processus d'interaction avec les ordinateurs. Il prend la vidéo affichée à l'écran en entrée, extrait le texte et les informations visuelles pour la prise de décision et émet les signaux de commande du clavier et de la souris dans le système d'exploitation sous-jacent pour interagir avec l'ordinateur, lui permettant d'interagir avec tous les logiciels sans compter sur sur toutes les hypothèses. 向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

"Cradle est principalement composé de 6 modules comprenant la collecte d'informations, l'auto-réflexion, l'inférence de tâches, la gestion des compétences, la planification d'action et le module de mémoire. Son puissant raisonnement décisionnel vient de "réfléchir sur le passé, résumer le présent et planifier le futur""

En même temps, le puissant module de raisonnement décisionnel de Cradle lui permet d'interagir spontanément avec le logiciel et d'accomplir des tâches. Ce processus peut être simplement résumé comme suit : Réfléchir sur le passé, résumer le présent. , et planifier l'avenir.

  •  : utilisez des vidéos de processus d'action passés comme entrée, extrayez respectivement le texte clé et les informations visuelles, et utilisez la réflexion pour déterminer si l'action précédente a été exécutée avec succès, si la tâche a été terminée, et comment s'améliorer.
  • Résumé maintenant : Après réflexion, résumez la situation actuelle et utilisez-la comme base pour décider s'il faut changer l'objectif de la mission ou modifier le contenu de la mission.
  • Planification pour l'avenir : Enfin, générez ou mettez à jour des compétences en fonction de la tâche actuelle et de la situation actuelle, et récupérez les compétences liées à la tâche actuelle à partir des compétences acquises comme alternatives, puis sélectionnez parmi elles les compétences appropriées pour les instancier. les comme actions d'exécution.

Tout en prenant des décisions et en raisonnant, Cradle résumera et conservera périodiquement les informations historiques stockées dans la mémoire contextuelle et les compétences stockées dans la mémoire à long terme. Le cerveau de ce processus est un grand modèle multimodal, tel que GPT-4V, mais Cradle y ajoute des fonctions telles que le résumé, la réflexion et la mémoire, formant un cadre complet d'agent intelligent pour le contrôle informatique général, résolvant efficacement les problèmes d'universalité. .les problèmes provoqués.

Cradle : vous emmène explorer "Red Dead Redemption 2" à partir de zéro

Pour prouver la polyvalence et la puissante capacité de prise de décision du framework, l'équipe de recherche a choisi de déployer Cradle au maximum zones difficiles et rarement explorées Le chef-d'œuvre du jeu commercial AAA "Red Dead Redemption 2". Ils pensent qu'en tant que logiciel le plus difficile à utiliser, si Cradle peut explorer librement et même compléter le scénario principal des jeux 3A, cela montre que le cadre a un grand potentiel pour être généralisé à d'autres jeux et logiciels.

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

"Contrairement aux jeux open source comme Minecraft, la plupart des jeux commerciaux, en particulier les jeux 3A, ne fournissent pas d'interfaces API internes, ce qui crée des frameworks comme Voyager qui s'appuient sur des API internes pour obtenir des actions prédéfinies d'entrée et de sortie ne pouvant pas être migrées vers d'autres. Dans le jeu"

Basé sur GPT-4V, Cradle peut générer directement les codes exécutables correspondants sous forme de compétences basées sur des invites et des didacticiels dans le jeu, enrichissant sa bibliothèque de compétences étape par étape et les réutilisant dans les jeux suivants. ces compétences .

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

Après avoir effectué une action incorrecte, Cradle peut découvrir et corriger efficacement l'erreur par réflexion.

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

Cradle peut non seulement suivre les instructions du jeu pour générer les compétences correspondantes à partir de zéro et compléter le scénario principal de 40 minutes, mais peut également librement explorer, monter à cheval, chasser, combattre, parler aux PNJ, utiliser des accessoires et opérer. les cartes dans le monde ouvert et même les achats en magasin sont un jeu d'enfant. Il s’agit du premier robot capable de jouer à des jeux AAA commerciaux depuis longtemps.

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

Conclusion

Le code open source Cradle peut être facilement étendu à d'autres logiciels et jeux. L'équipe de recherche a déclaré que pour parvenir à un véritable contrôle informatique universel, Cradle sera porté sur davantage de logiciels et de jeux à l'avenir, et qu'elle encourage également les équipes de recherche/industries concernées à mener des recherches et des explorations plus approfondies. L’objectif est de permettre aux agents intelligents d’interagir avec tous les logiciels, qu’ils soient open source ou fermés, et de s’améliorer continuellement pour atteindre l’universalité, et devenir à terme le berceau de la naissance de l’

intelligence artificielle générale.

"GCC est un berceau pour AGI."

—L'équipe Cradle

Encore une chose : diffusion en direct de l'interprétation de la technologie Cradle

Le 14 mars, de 14h30 à 15h30, le premier auteur de l'article, Tan Weihao, doctorant à Nanyang Université technologique de Singapour, a donné un rapport d'interprétation en ligne. Scannez le code QR ci-dessous pour vous inscrire.

向数字世界AGI迈进!智能体已经从头开玩「荒野大镖客 2」了

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Aug 09, 2024 pm 04:01 PM

Mais peut-être qu’il ne pourra pas vaincre le vieil homme dans le parc ? Les Jeux Olympiques de Paris battent leur plein et le tennis de table suscite beaucoup d'intérêt. Dans le même temps, les robots ont également réalisé de nouvelles avancées dans le domaine du tennis de table. DeepMind vient tout juste de proposer le premier agent robot apprenant capable d'atteindre le niveau des joueurs amateurs humains de tennis de table de compétition. Adresse papier : https://arxiv.org/pdf/2408.03906 Quelle est la capacité du robot DeepMind à jouer au tennis de table ? Probablement à égalité avec les joueurs amateurs humains : tant en coup droit qu'en revers : l'adversaire utilise une variété de styles de jeu, et le robot peut également résister : recevoir des services avec des tours différents : Cependant, l'intensité du jeu ne semble pas aussi intense que le vieil homme dans le parc. Pour les robots, le tennis de table

La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison Aug 21, 2024 pm 07:33 PM

Le 21 août, la Conférence mondiale sur les robots 2024 s'est tenue en grande pompe à Pékin. La marque de robots domestiques de SenseTime, "Yuanluobot SenseRobot", a dévoilé toute sa famille de produits et a récemment lancé le robot de jeu d'échecs Yuanluobot AI - Chess Professional Edition (ci-après dénommé "Yuanluobot SenseRobot"), devenant ainsi le premier robot d'échecs au monde pour le maison. En tant que troisième produit robot jouant aux échecs de Yuanluobo, le nouveau robot Guoxiang a subi un grand nombre de mises à niveau techniques spéciales et d'innovations en matière d'IA et de machines d'ingénierie. Pour la première fois, il a réalisé la capacité de ramasser des pièces d'échecs en trois dimensions. grâce à des griffes mécaniques sur un robot domestique et effectuer des fonctions homme-machine telles que jouer aux échecs, tout le monde joue aux échecs, réviser la notation, etc.

Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Sep 02, 2024 pm 01:56 PM

La rentrée scolaire est sur le point de commencer, et ce ne sont pas seulement les étudiants qui sont sur le point de commencer le nouveau semestre qui doivent prendre soin d’eux-mêmes, mais aussi les grands modèles d’IA. Il y a quelque temps, Reddit était rempli d'internautes se plaignant de la paresse de Claude. « Son niveau a beaucoup baissé, il fait souvent des pauses et même la sortie devient très courte. Au cours de la première semaine de sortie, il pouvait traduire un document complet de 4 pages à la fois, mais maintenant il ne peut même plus produire une demi-page. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dans un post intitulé "Totalement déçu par Claude", plein de

Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Aug 22, 2024 pm 10:35 PM

Lors de la World Robot Conference qui se tient à Pékin, l'exposition de robots humanoïdes est devenue le centre absolu de la scène. Sur le stand Stardust Intelligent, l'assistant robot IA S1 a réalisé trois performances majeures de dulcimer, d'arts martiaux et de calligraphie. un espace d'exposition, capable à la fois d'arts littéraires et martiaux, a attiré un grand nombre de publics professionnels et de médias. Le jeu élégant sur les cordes élastiques permet au S1 de démontrer un fonctionnement fin et un contrôle absolu avec vitesse, force et précision. CCTV News a réalisé un reportage spécial sur l'apprentissage par imitation et le contrôle intelligent derrière "Calligraphy". Le fondateur de la société, Lai Jie, a expliqué que derrière les mouvements soyeux, le côté matériel recherche le meilleur contrôle de la force et les indicateurs corporels les plus humains (vitesse, charge). etc.), mais du côté de l'IA, les données réelles de mouvement des personnes sont collectées, permettant au robot de devenir plus fort lorsqu'il rencontre une situation forte et d'apprendre à évoluer rapidement. Et agile

Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

Les contributeurs ont beaucoup gagné de cette conférence ACL. L'ACL2024, d'une durée de six jours, se tient à Bangkok, en Thaïlande. ACL est la plus grande conférence internationale dans le domaine de la linguistique informatique et du traitement du langage naturel. Elle est organisée par l'Association internationale pour la linguistique informatique et a lieu chaque année. L'ACL s'est toujours classée première en termes d'influence académique dans le domaine de la PNL, et c'est également une conférence recommandée par le CCF-A. La conférence ACL de cette année est la 62e et a reçu plus de 400 travaux de pointe dans le domaine de la PNL. Hier après-midi, la conférence a annoncé le meilleur article et d'autres récompenses. Cette fois, il y a 7 Best Paper Awards (deux inédits), 1 Best Theme Paper Award et 35 Outstanding Paper Awards. La conférence a également décerné 3 Resource Paper Awards (ResourceAward) et Social Impact Award (

L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o Sep 03, 2024 pm 05:18 PM

Intégration profonde de la vision et de l'apprentissage des robots. Lorsque deux mains de robot travaillent ensemble en douceur pour plier des vêtements, verser du thé et emballer des chaussures, associées au robot humanoïde 1X NEO qui a fait la une des journaux récemment, vous pouvez avoir le sentiment : nous semblons entrer dans l'ère des robots. En fait, ces mouvements soyeux sont le produit d’une technologie robotique avancée + d’une conception de cadre exquise + de grands modèles multimodaux. Nous savons que les robots utiles nécessitent souvent des interactions complexes et exquises avec l’environnement, et que l’environnement peut être représenté comme des contraintes dans les domaines spatial et temporel. Par exemple, si vous souhaitez qu'un robot verse du thé, le robot doit d'abord saisir la poignée de la théière et la maintenir verticalement sans renverser le thé, puis la déplacer doucement jusqu'à ce que l'embouchure de la théière soit alignée avec l'embouchure de la tasse. , puis inclinez la théière selon un certain angle. ce

Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Aug 08, 2024 am 07:02 AM

Cet après-midi, Hongmeng Zhixing a officiellement accueilli de nouvelles marques et de nouvelles voitures. Le 6 août, Huawei a organisé la conférence de lancement de nouveaux produits Hongmeng Smart Xingxing S9 et Huawei, réunissant la berline phare intelligente panoramique Xiangjie S9, le nouveau M7Pro et Huawei novaFlip, MatePad Pro 12,2 pouces, le nouveau MatePad Air, Huawei Bisheng With de nombreux nouveaux produits intelligents tous scénarios, notamment la série d'imprimantes laser X1, FreeBuds6i, WATCHFIT3 et l'écran intelligent S5Pro, des voyages intelligents, du bureau intelligent aux vêtements intelligents, Huawei continue de construire un écosystème intelligent complet pour offrir aux consommateurs une expérience intelligente du Internet de tout. Hongmeng Zhixing : Autonomisation approfondie pour promouvoir la modernisation de l'industrie automobile intelligente Huawei s'associe à ses partenaires de l'industrie automobile chinoise pour fournir

Testé 7 artefacts de génération vidéo « de niveau Sora ». Qui a la capacité de monter sur le « Trône de fer » ? Testé 7 artefacts de génération vidéo « de niveau Sora ». Qui a la capacité de monter sur le « Trône de fer » ? Aug 05, 2024 pm 07:19 PM

Editeur du Machine Power Report : Yang Wen Qui peut devenir le roi du cercle vidéo de l'IA ? Dans la série télévisée américaine "Game of Thrones", il y a un "Trône de Fer". La légende raconte qu'il a été fabriqué par le dragon géant « Black Death » qui a fait fondre des milliers d'épées abandonnées par les ennemis, symbolisant l'autorité suprême. Pour s'asseoir sur cette chaise de fer, les grandes familles ont commencé à se battre et à se battre. Depuis l'émergence de Sora, un vigoureux "Game of Thrones" a été lancé dans le cercle vidéo de l'IA. Les principaux acteurs de ce jeu incluent RunwayGen-3 et Luma de l'autre côté de l'océan, ainsi que Kuaishou Keling, ByteDream, national. et Zhimo. Spectre Qingying, Vidu, PixVerseV2, etc. Aujourd'hui, nous allons évaluer et voir qui est qualifié pour siéger sur le « Trône de fer » du cercle vidéo IA. -1-Vincent Vidéo

See all articles