Le modèle mondial brille ! Le réalisme de ces plus de 20 données de scénarios de conduite autonome est incroyable...

Pensez-vous que c'est une vidéo de conduite autonome ennuyeuse ?

Le sens original de ce contenu n'a pas besoin d'être modifié, il doit être réécrit en chinois

Aucune seule image n'est "réelle".

Différentes conditions routières, diverses conditions météorologiques, plus de 20 situations peuvent être simulées, et l'effet est comme la réalité.

Le modèle mondial démontre une fois de plus son rôle puissant ! Cette fois, LeCun l'a transmis avec enthousiasme après l'avoir vu

L'effet ci-dessus est apporté par la dernière version de GAIA-1.

Il a une échelle de 9 milliards de paramètres et est formé avec 4700 heuresde vidéos de conduite pour obtenir l'effet de générer des vidéos de conduite autonome en saisissant des vidéos, du texte ou des opérations.

L'avantage le plus direct est la capacité de mieux prédire les événements futurs. Il peut simuler plus de 20 scénarios, améliorant ainsi encore la sécurité de la conduite autonome et réduisant les coûts

L'équipe créative a déclaré que cela changerait les règles du jeu de la conduite autonome !

Comment GAIA-1 est-il implémenté ? En fait, nous avons déjà présenté en détail le GAIA-1 développé par l'équipe Wayve dans Autonomous Driving Daily : un modèle mondial génératif pour la conduite autonome. Si cela vous intéresse, vous pouvez vous rendre sur notre compte officiel pour lire le contenu pertinent !

Plus l'échelle est grande, meilleur est l'effet

GAIA-1 est un modèle mondial génératif multimodal qui peut comprendre et générer des expressions du monde en intégrant plusieurs méthodes de perception telles que la vision, l'audition et le langage. Ce modèle utilise des algorithmes d’apprentissage profond pour apprendre et raisonner sur la structure et les lois du monde à partir d’une grande quantité de données. L'objectif de GAIA-1 est de simuler la perception humaine et les capacités cognitives pour mieux comprendre et interagir avec le monde. Ses applications sont nombreuses dans de nombreux domaines, notamment la conduite autonome, la robotique et la réalité virtuelle. Grâce à une formation et une optimisation continues, GAIA-1 continuera d'évoluer et de s'améliorer, devenant un modèle mondial plus intelligent et plus complet.

Il utilise la vidéo, le texte et les actions comme entrée et génère des vidéos de scènes de conduite réalistes, tout en permettant la conduite autonome. Comportement et scène du véhicule les caractéristiques sont finement contrôlées

et les vidéos peuvent être générées avec uniquement des invites textuelles.

Le principe du modèle est similaire au principe des grands modèles de langage, c'est-à-dire prédire le prochain jeton

Le modèle peut utiliser la représentation de quantification vectorielle pour distinguer les images vidéo, puis prédire les scènes futures, qui sont converties en prédiction le suivant dans le jeton de séquence. Le modèle de diffusion est ensuite utilisé pour générer des vidéos de haute qualité à partir de l’espace linguistique du modèle mondial.

Les étapes spécifiques sont les suivantes :

La première étape est simple à comprendre, qui consiste à recoder, organiser et combiner diverses entrées.

Différentes entrées peuvent être projetées dans une représentation partagée en utilisant des encodeurs spécialisés pour coder diverses entrées. Les encodeurs texte et vidéo séparent et intègrent l'entrée, tandis que les représentations opérationnelles sont projetées individuellement dans une représentation partagée

Ces représentations codées sont temporellement cohérentes

Après les permutations, la partie clé World Model entre en scène.

En tant que transformateur autorégressif, il a la capacité de prédire le prochain ensemble de jetons d'image dans la séquence. Il prend non seulement en compte les jetons d'image précédents, mais prend également en compte simultanément les informations contextuelles du texte et des actions

Le contenu généré par le modèle maintient non seulement la cohérence avec l'image, mais également avec le texte et les actions prédits

Présentation de l'équipe, GAIA La taille du modèle mondial en -1 est 6,5 milliards de paramètres, qui a été entraîné sur 64 A100 pendant 15 jours.

En utilisant un décodeur vidéo et un modèle de diffusion vidéo, ces jetons sont finalement reconvertis en vidéo

Cette étape concerne la qualité sémantique, la précision de l'image et la cohérence temporelle de la vidéo.

Le décodeur vidéo de

GAIA-1 a une échelle de 2,6 milliards de paramètres et a été formé à l’aide de 32 A100 pendant 15 jours.

Il convient de mentionner que GAIA-1 est non seulement similaire en principe au grand modèle de langage, mais montre également les caractéristiques de à mesure que l'échelle du modèle s'agrandit, la qualité de la génération s'améliore.

L'équipe a comparé la première version publiée précédemment en juin avec le dernier effet

Ce dernier est 480 fois plus grand que le premier.

Vous pouvez intuitivement voir que les détails et la résolution de la vidéo ont été considérablement améliorés.

En termes d'applications pratiques, GAIA-1 a également eu un impact. Son équipe créative a déclaré que cela changerait les règles de la conduite autonome.

Les raisons viennent de trois aspects :

• Sécurité
• Données de formation complètes
• Scénario à longue traîne

Tout d'abord, en termes de sécurité, le modèle mondial peut simuler le futur et donner à l'IA le capacité à prendre ses propres décisions, ce qui est très important pour la sécurité de la conduite autonome.

Deuxièmement, les données d'entraînement sont également très critiques pour la conduite autonome. Les données générées sont plus sécurisées, moins chères et infiniment évolutives.

L'IA générative peut résoudre un défi majeur auquel est confrontée la conduite autonome : les scénarios à longue traîne. Il peut gérer davantage de cas extrêmes, comme rencontrer des piétons traversant la route par temps de brouillard. Cela améliorera encore les performances de la conduite autonome

Qui est Wayve ?

GAIA-1 vient de la startup britannique de conduite autonome Wayve.

Wayve a été fondée en 2017. Parmi les investisseurs figurent Microsoftetc., et sa valorisation a atteint Licorne.

Les fondateurs sont les PDG actuels Alex Kendall et Amar Shah (la page de leadership du site officiel de l'entreprise ne contient plus d'informations. Tous deux sont diplômés de l'Université de Cambridge et possèdent un doctorat en apprentissage automatique

Sur la feuille de route technique). , comme Tesla, Wayve prône une solution purement visuelle utilisant des caméras, abandonnant très tôt les cartes de haute précision et s'engageant résolument dans la voie de la « perception instantanée ».

Il y a peu, un autre grand modèle LINGO-1 sorti par l'équipe a également fait sensation.

Ce modèle autonome peut générer des explications en temps réel pendant la conduite, améliorant ainsi encore l'interprétabilité du modèle

En mars de cette année, Bill Gates a également fait un essai routier dans la voiture autonome de Wayve.

Adresse papier : https://arxiv.org/abs/2309.17080

Le contenu qui doit être réécrit est : Lien original : https://mp.weixin.qq. com/ s/bwTDovx9-UArk5lx5pZPag

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!