Le modèle multimodal de l'Assemblée populaire nationale évolue vers l'AGI : il réalise pour la première fois des mises à jour indépendantes et la génération de photos et de vidéos dépasse Sora

Lors du forum parallèle général Intelligence artificielle du Forum de Zhongguancun qui s'est tenu le 27 avril, Sophon Engine, une startup affiliée à l'Assemblée populaire nationale, a lancé en grande pompe un nouveau grand modèle multimodal Awaker 1.0, franchissant une étape cruciale vers l'AGI. .

Par rapport au modèle de séquence ChatImg de la génération précédente de Sophon Engine, Awaker 1.0 adopte une nouvelle architecture MOE et dispose de capacités de mise à jour indépendantes. Il s'agit du premier grand modèle multimodal de l'industrie à atteindre une « véritable » indépendance. mise à jour.

En termes de génération visuelle, Awaker 1.0 utilise une base de génération vidéo entièrement auto-développée VDT, qui obtient de meilleurs résultats que Sora en génération photo-vidéo, brisant la difficulté du « dernier kilomètre » de l'atterrissage de grands modèles.

Awaker 1.0 est un grand modèle multimodal qui intègre parfaitement la compréhension visuelle et la génération visuelle. Du côté de la compréhension, Awaker 1.0 interagit avec le monde numérique et le monde réel et renvoie les données de comportement de la scène au modèle pendant l'exécution des tâches pour réaliser une mise à jour et une formation continues, du côté de la génération, Awaker 1.0 peut générer des multi-de haute qualité ; contenu modal, simulez le monde réel et fournissez plus de données de formation pour le modèle côté compréhension.

Ce qui est particulièrement important, c'est qu'en raison de ses « réelles » capacités de mise à jour autonomes, Awaker 1.0 est adapté à un plus large éventail de scénarios industriels et peut résoudre des tâches pratiques plus complexes, telles que l'agent IA, l'intelligence incorporée, la gestion complète, et inspection de sécurité, etc.

Modèle de base MOE d'Awaker

Du côté de la compréhension, le modèle de base d'Awaker 1.0 résout principalement le problème des conflits graves dans la pré-formation multimodale multi-tâches. Bénéficiant de l'architecture MOE multitâche soigneusement conçue, le modèle de base d'Awaker 1.0 peut non seulement hériter des capacités de base du grand modèle multimodal de génération précédente du moteur Sophon, ChatImg, mais également apprendre les capacités uniques requises pour chaque tâche multimodale. . Par rapport au grand modèle multimodal ChatImg de la génération précédente, les capacités du modèle de base d'Awaker 1.0 ont été considérablement améliorées dans plusieurs tâches.

Compte tenu du problème de fuite de données d'évaluation dans les listes d'évaluation multimodales traditionnelles, nous avons adopté des normes strictes pour créer notre propre ensemble d'évaluation, dans lequel la plupart des images de test proviennent d'albums personnels de téléphones portables. Dans cet ensemble d'évaluation multimodale, nous effectuons une évaluation manuelle équitable sur Awaker 1.0 et les trois grands modèles multimodaux les plus avancés au pays et à l'étranger. Les résultats détaillés de l'évaluation sont présentés dans le tableau ci-dessous. Notez que GPT-4V et Intern-VL ne prennent pas directement en charge les tâches de détection. Leurs résultats de détection sont obtenus en exigeant que le modèle utilise un langage pour décrire l'orientation de l'objet.

Nous avons constaté que le modèle de base d'Awaker 1.0 dépassait GPT-4V, Qwen-VL-Max et Intern-VL en termes de réponses visuelles aux questions et de tâches d'application métier, tout en atteignant également le meilleur résultat suivant. Dans l'ensemble, le score moyen d'Awaker 1.0 dépasse les trois modèles les plus avancés au pays et à l'étranger, vérifiant l'efficacité de l'architecture multitâche du MOE. Vous trouverez ci-dessous plusieurs exemples spécifiques d’analyse comparative.

Comme le montrent ces exemples comparatifs, Awaker 1.0 peut donner des réponses correctes aux questions de comptage et d'OCR, tandis que les trois autres modèles répondent tous de manière incorrecte (ou partiellement incorrecte). Dans la tâche de description détaillée, Qwen-VL-Max est plus sujet aux hallucinations, et Intern-VL peut décrire avec précision le contenu de l'image mais n'est pas suffisamment précis et spécifique dans certains détails. GPT-4V et Awaker 1.0 peuvent non seulement décrire le contenu de l'image en détail, mais également identifier avec précision les détails de l'image, comme le Coca-Cola montré sur l'image.

Awaker + Intelligence incarnée : Vers l'AGI

La combinaison des grands modèles multimodaux et de l'intelligence incarnée est très naturelle en raison des capacités de compréhension visuelle des grands modèles multimodaux Peut être combinée avec des caméras qui sont une intelligence naturelle et incarnée. Dans le domaine de l'intelligence artificielle, « grand modèle multimodal + intelligence incorporée » est même considéré comme une voie réalisable pour parvenir à l'intelligence artificielle générale (AGI).

D'une part, les gens s'attendent à ce que l'intelligence incarnée soit adaptable, c'est-à-dire que l'agent peut s'adapter à des environnements d'application changeants grâce à un apprentissage continu. Il peut non seulement faire mieux sur des tâches multimodales connues, mais aussi s'adapter rapidement. aux tâches multimodales inconnues.

D'un autre côté, les gens s'attendent également à ce que l'intelligence incarnée soit véritablement créative, en espérant qu'elle puisse découvrir de nouvelles stratégies et solutions et explorer les limites des capacités de l'intelligence artificielle grâce à l'exploration autonome de l'environnement. En utilisant de grands modèles multimodaux comme « cerveaux » de l’intelligence incarnée, nous avons le potentiel d’augmenter considérablement l’adaptabilité et la créativité de l’intelligence incarnée, pour finalement nous rapprocher du seuil de l’AGI (ou même atteindre l’AGI).

Cependant, il existe deux problèmes évidents avec les grands modèles multimodaux existants : premièrement, le cycle de mise à jour itérative du modèle est long, nécessitant beaucoup d'investissement humain et financier ; à partir de l'existant Pour certaines données, le modèle ne peut pas acquérir en permanence une grande quantité de nouvelles connaissances. Bien que l'émergence continue de nouvelles connaissances puisse également être injectée via RAG et un contexte long, le grand modèle multimodal lui-même n'apprend pas ces nouvelles connaissances, et ces deux méthodes de remédiation entraîneront également des problèmes supplémentaires.

En bref, les grands modèles multimodaux actuels ne sont pas très adaptables aux scénarios d'application réels, encore moins créatifs, ce qui entraîne diverses difficultés lors de leur mise en œuvre dans l'industrie.

L'Awaker 1.0 publié cette fois par Sophon Engine est le premier grand modèle multimodal au monde doté d'un mécanisme de mise à jour autonome, qui peut être utilisé comme le « cerveau » de l'intelligence incarnée. Le mécanisme de mise à jour autonome d'Awaker 1.0 comprend trois technologies clés : la génération active de données, la réflexion et l'évaluation du modèle et la mise à jour continue du modèle.

Différent de tous les autres grands modèles multimodaux, Awaker 1.0 est "live" et ses paramètres peuvent être continuellement mis à jour en temps réel.

Comme le montre le diagramme du cadre ci-dessus, Awaker 1.0 peut être combiné avec divers appareils intelligents, observer le monde à travers des appareils intelligents, générer des intentions d'action et construire automatiquement des instructions pour contrôler les appareils intelligents afin d'effectuer diverses actions. Les appareils intelligents généreront automatiquement divers retours après avoir effectué diverses actions. Awaker 1.0 peut obtenir des données d'entraînement efficaces à partir de ces actions et retours pour une mise à jour automatique continue et renforcer continuellement les différentes capacités du modèle.

En prenant l'injection de nouvelles connaissances comme exemple, Awaker 1.0 peut apprendre en continu les dernières informations sur Internet et répondre à diverses questions complexes basées sur les informations d'actualité nouvellement apprises. Différent des méthodes traditionnelles de RAG et de contexte long, Awaker 1.0 peut véritablement apprendre de nouvelles connaissances et « mémoriser » les paramètres du modèle.

Comme vous pouvez le voir dans l'exemple ci-dessus, en trois jours consécutifs de mise à jour automatique, Awaker 1.0 peut apprendre chaque jour les informations d'actualité du jour et prononcer avec précision les informations correspondantes lorsqu'il répond aux questions. Dans le même temps, Awaker 1.0 n'oubliera pas les connaissances acquises pendant le processus d'apprentissage continu. Par exemple, les connaissances de Wisdom S7 sont toujours mémorisées ou comprises par Awaker 1.0 après 2 jours.

Awaker 1.0 peut également être combiné avec divers appareils intelligents pour réaliser une collaboration à la pointe du cloud. Awaker 1.0 est déployé dans le cloud en tant que « cerveau » pour contrôler divers appareils intelligents de pointe afin d'effectuer diverses tâches. Les commentaires obtenus lorsque l'appareil intelligent Edge effectue diverses tâches seront transmis en continu à Awaker 1.0, lui permettant d'obtenir en permanence des données d'entraînement et de se mettre à jour en permanence.

La voie technique de collaboration cloud-edge mentionnée ci-dessus a été appliquée dans des scénarios d'application tels que l'inspection des réseaux intelligents et les villes intelligentes. Elle a obtenu de bien meilleurs résultats de reconnaissance que les petits modèles traditionnels et a été hautement reconnue par les clients de l'industrie.

Simulateur du monde réel : VDT

Le côté génération d'Awaker 1.0 est un VDT ​​de base de génération vidéo de type Sora développé indépendamment par Sophon Engine, qui peut être utilisé comme un véritable- simulateur du monde. Les résultats de la recherche de VDT ont été publiés sur le site Web arXiv en mai 2023, 10 mois avant la sortie de Sora par OpenAI. L'article académique de VDT a été accepté par l'ICLR 2024, la plus grande conférence internationale sur l'intelligence artificielle.

L'innovation de la base de génération vidéo VDT comprend principalement les aspects suivants :

• L'application de la technologie Transformer à la génération vidéo basée sur la diffusion montre le grand potentiel de Transformer dans le domaine de la génération vidéo. L'avantage du VDT réside dans son excellente capacité de capture en fonction du temps, permettant la génération d'images vidéo temporellement cohérentes, notamment la simulation de la dynamique physique d'objets tridimensionnels au fil du temps.
• Proposer un mécanisme de modélisation de masque spatio-temporel unifié pour permettre à VDT de gérer une variété de tâches de génération vidéo, réalisant ainsi la large application de cette technologie. Les méthodes flexibles de traitement de l'information conditionnelle de VDT, telles que le simple épissage de l'espace de jetons, unifient efficacement les informations de différentes longueurs et modalités. Dans le même temps, en se combinant avec le mécanisme de modélisation de masque spatio-temporel, VDT est devenu un outil de diffusion vidéo universel, qui peut être appliqué à la génération inconditionnelle, à la prédiction d'images vidéo ultérieures, à l'interpolation d'images, aux vidéos génératrices d'images et aux images vidéo sans modifier le structure du modèle. Achèvement et autres tâches de génération vidéo.

Nous nous sommes concentrés sur l'exploration de la simulation de lois physiques simples par VDT et avons formé VDT sur l'ensemble de données Physion. Dans l’exemple ci-dessous, nous constatons que VDT simule avec succès des processus physiques tels que la balle se déplaçant le long d’une trajectoire parabolique et la balle roulant sur un avion et entrant en collision avec d’autres objets. Dans le même temps, le deuxième exemple de la ligne 2 montre également que le VDT capture la vitesse et l'élan de la balle, car la balle n'a finalement pas renversé le pilier en raison d'une force d'impact insuffisante. Cela prouve que l'architecture Transformer peut apprendre certaines lois physiques.

Nous avons également mené une exploration approfondie de la tâche de génération de photos et de vidéos. Cette tâche impose des exigences très élevées en matière de qualité de génération vidéo, car nous sommes naturellement plus sensibles aux changements dynamiques des visages et des personnages. Compte tenu de la particularité de cette tâche, nous devons combiner VDT (ou Sora) et génération contrôlable pour relever les défis de la génération photo vidéo. À l'heure actuelle, le moteur Sophon a dépassé la plupart des technologies clés de génération de photo-vidéo et a atteint une meilleure qualité de génération de photo-vidéo que Sora. Le moteur Sophon continuera d’optimiser l’algorithme de génération contrôlable de portraits et explore également activement sa commercialisation. À l'heure actuelle, un scénario d'atterrissage commercial confirmé a été trouvé, et il devrait surmonter la difficulté du « dernier kilomètre » de l'atterrissage de grands modèles dans un avenir proche.

À l'avenir, un VDT ​​plus polyvalent deviendra un outil puissant pour résoudre le problème des sources de données multimodales de grands modèles. Grâce à la génération vidéo, VDT sera capable de simuler le monde réel, d'améliorer encore l'efficacité de la production de données visuelles et de fournir une assistance pour la mise à jour indépendante du grand modèle multimodal Awaker.

Conclusion

Awaker 1.0 est une étape clé pour l'équipe du moteur Sophon pour avancer vers l'objectif ultime de "réaliser AGI". L'équipe estime que les capacités d'apprentissage autonome de l'IA, telles que l'auto-exploration et l'auto-réflexion, sont des critères d'évaluation importants du niveau d'intelligence et sont tout aussi importantes que l'augmentation continue de la taille des paramètres (loi d'échelle). Awaker 1.0 a mis en œuvre des cadres techniques clés tels que « la génération active de données, la réflexion et l'évaluation du modèle et la mise à jour continue du modèle », réalisant des avancées tant du côté de la compréhension que du côté de la génération. Il devrait accélérer le développement du grand multimodal. modéliser l'industrie et permettre à terme aux humains de réaliser l'AGI.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!