Robot + LLM ≠ Intelligence Incarnée ?

Heart of Machine PRO · Newsletter des membres Semaine 36

---- Cette semaine, nous vous expliquerons ⑤ des choses importantes dans l'industrie de l'IA et de la robotique qui méritent un examen attentif ----

1. Robot + LLM ≠ Intelligence Incarnée ?

Quelle est la prochaine étape dans le parcours robot humanoïde général + technologie LLM ? Universal Robots + LLM Quels sont les défis techniques majeurs menant à l'intelligence incorporée ? Avant que le LLM ne devienne populaire, comment Boston Dynamics fabriquait-il des robots ? Quelles opportunités les percées dans la compréhension des scènes et les technologies de collaboration homme-machine apporteront-elles ? ...

2. L'écosystème open source de Llama 2 est-il une tarte ou un piège ?

L'écosystème open source apporté par Llama 2 est-il fiable ? Baichuan-2 devrait-il remplacer Llama 2 au niveau national ? Quelle est l’importance des tranches de formation LLM open source ? Open source et fermé, à quoi ressemble le paysage concurrentiel dans le domaine national des grands modèles ? L’écosystème open source de Llama 2 est-il fiable ? Baichuan-2 pourrait-il être une alternative nationale à Llama 2 ? Quelle est l’importance des tranches de formation LLM open source ? Quel est le paysage concurrentiel entre l’open source et le fermé dans le domaine national des grands modèles ?

3. Le RLAIF est-il une alternative fiable ? Remplacer les humains (H) par l’intelligence artificielle (IA) ?

Comment le RLAIF est-il mis en œuvre ? Comment l’annotation IA améliore-t-elle le RL ? Quels sont les avantages du RALIF ? Comment fonctionne le LLM formé sur la base du RLAIF ? Est-il possible que le RLAIF remplace le RLHF ? Le RLHF sera-t-il nécessaire à l’avenir ? Quelles autres recherches RL récentes Google effectue-t-il ? ...

4. Formation secrète GPT-5 d'OpenAI

Y a-t-il des rumeurs sur GPT-5 ? Quelle est la fonction de GPT-5 ? GPT-5 existe-t-il vraiment ? Sam Altman a déjà dit qu'il ne travaillait pas sur GPT-5 ? ...

5. Combien d’années a-t-il fallu pour que l’IA prenne en charge le travail de traduction ?

Pourquoi tous les éditeurs de sites espagnols ont-ils été « licenciés » ? Est-il fiable d’utiliser l’IA pour traduire des sites Web ? Découvrez l'histoire du développement de la traduction IA à partir de Google ? Vous souvenez-vous à quoi ressemblait la traduction par l’IA il y a dix ans ? Où la traduction par l’IA va-t-elle se développer désormais ? Pourquoi tous les éditeurs de sites Internet en langue espagnole sont-ils licenciés ? L’utilisation de l’intelligence artificielle pour traduire des sites Web est-elle fiable ? Jetons un coup d'œil au développement de la traduction par intelligence artificielle à partir de Google. Vous souvenez-vous à quoi ressemblait la traduction par intelligence artificielle il y a dix ans ? Dans quelle direction évoluera la traduction actuelle de l’intelligence artificielle ?

Cette version complète de la newsletter comprend 5 interprétations de sujets et 29 mises à jour importantes sur la piste IA et robotique. Parmi eux, il y a 9 points techniques, 11 points nationaux et 9 points étrangers

Cette newsletter compte un total de 24646 mots, et vous pouvez l'essayer gratuitement jusqu'à 7%

Il vous suffit de consommer 99 beans WeChat pour récupérer l'interprétation complète de ce numéro, ce qui équivaut à 9,9 RMB

Interprétation des choses importantes ①Robot + LLM ≠ Intelligence incarnée ?

Heure : 6 septembre

Événement : Zhihui Jun a récemment révélé dans une interview que le plan de développement du robot humanoïde universel + LLM de son équipe entrepreneuriale comprend la création d'un centre de données et la reconstruction itérative de la structure matérielle.

Zhihui Jun, que pensez-vous de la prochaine étape dans le domaine des robots humanoïdes généraux et de la technologie LLM ?

1. Zhihui Jun a déclaré dans l'interview que dans la voie de la technologie de l'intelligence incarnée du robot humanoïde universel LLM +, le seuil central réside dans les données. L'un des objectifs récents de Zhiyuan Robotics est de construire son propre centre de données.

Zhihui Jun a résumé que son travail sur les données impliquera des « données d'apprentissage supervisé », des « données de simulation » et des « données générées par AIGC »

Zhihui Jun a déclaré que le prochain plan est de lancer Lingang d'ici quelques mois et d'établir une plateforme de scénarios et de simulation pour remplir les données de mouvement afin d'améliorer la capacité de généralisation du robot

2. Un autre objectif de Zhiyuan Robot est de reconstruire de manière itérative la structure matérielle dans le but d'améliorer les performances de mouvement du robot.

Zhiyuan Robot déclare actuellement que le prix des robots humanoïdes sera contrôlé en dessous de 200 000 yuans

M. Zhihui a déclaré que si le prix de 200 000 yuans ne peut être atteint, le robot humanoïde ne sera pas commercialisé

② La valorisation de 200 000 yuans peut être comparée à la période de retour sur investissement de 1 à 2 ans requise pour que les robots remplacent certains travailleurs de l'industrie de fabrication de véhicules à énergies nouvelles.

4. La méthode de contrôle des coûts de production de masse de l’équipe Zhiyuan Robotics implique deux aspects :

Adopter la voie auto-développée, telle que des composants de base auto-développés tels que des moteurs articulaires et des mains adroites, peut réduire le coût de moitié

Réduisez les coûts de matériel en utilisant des logiciels et des algorithmes pour répondre aux exigences de précision

Zhihui Jun a déclaré que leur objectif principal est de parvenir à la commercialisation dans le domaine de la fabrication industrielle, et ils prévoient d'atteindre cet objectif au cours du second semestre de l'année prochaine

6. Zhihui Jun a également mentionné une ligne cachée dans la commercialisation de l’entreprise, à savoir : « pondre des œufs en cours de route » sur le chemin vers l’objectif ultime des robots humanoïdes universels.

① Les robots humanoïdes universels impliquent la pile technologique robotique la plus complète, et leur processus de mise en œuvre implique le développement et l'optimisation d'une variété de technologies de pointe, qui peuvent conduire à la création de produits robotiques innovants sous diverses formes spécialisées.

En plus de l’Expédition A1 de Zhiyuan Robot, quelles autres équipes développent des robots humanoïdes universels en Chine ? [6] [7]

Les robots universels et le LLM sont-ils équivalents à l'intelligence incarnée ? [2] [3] [26]

Yao Qizhi, lauréat du prix Turing, académicien de l'Académie chinoise des sciences et directeur de l'Institut d'information croisée de l'Université Tsinghua, a déclaré lors de la Conférence mondiale sur les robots 2023 : La future AGI doit avoir des entités incarnées qui peuvent interagir avec le monde physique réel pour accomplir diverses tâches. Ce n'est qu'ainsi que nous pourrons apporter une valeur vraiment plus grande à l'industrie. Dans le même temps, Yao Qizhi a souligné que les robots incarnés sont actuellement confrontés à quatre défis principaux :

1. Les robots ne peuvent pas avoir un grand modèle de base comme un grand modèle de langage pour atteindre le contrôle de niveau le plus bas en une seule étape.

2. Le défi de la puissance de calcul. Même avec le modèle Robotics Transformer développé par Google, de nombreuses améliorations sont encore nécessaires pour parvenir au contrôle du robot

3. Comment intégrer la perception sensorielle multimodale du robot se heurte encore à de nombreux problèmes qui doivent être résolus.

Le développement de robots nécessite une grande quantité de collecte de données, et se heurte également à de nombreux problèmes de sécurité et de confidentialité

Comment Boston Dynamics fabriquait-il des robots avant que le LLM ne devienne populaire ?

En 2021, Pat Marion, ingénieur robotique senior chez Boston Dynamics et responsable du développement du logiciel de perception Atlas, a publié un article expliquant la technologie derrière Atlas Parkour. [4]

La réalisation par Atlas d'excellentes capacités de parkour implique principalement trois aspects de la technologie : les capacités cognitives du parkour, la bibliothèque de comportements Atlas et le contrôle prédictif du modèle

2. Capacité cognitive du parkour : y compris l'utilisation de caméras de profondeur avancées, d'algorithmes de perception, de cartes avancées et d'autres composants

① Atlas utilise une caméra de profondeur TOF pour générer des nuages ​​de points de l'environnement à 15 images par seconde. Les nuages ​​de points sont des collections de télémétrie à grande échelle.

② TOF (Time of Flight) se traduit littéralement par « temps de vol ». Le principe de télémétrie consiste à envoyer en continu des impulsions lumineuses à la cible, puis à utiliser le capteur pour recevoir la lumière renvoyée par l'objet et à obtenir la distance cible en détectant le temps de vol (aller-retour) de l'impulsion lumineuse.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!