Petite échelle, haute efficacité : DeepMind lance la solution multimodale Mirasol 3B

L'un des principaux défis de l'apprentissage multimodal est la nécessité de fusionner des modalités hétérogènes telles que le texte, l'audio et la vidéo. Les modèles multimodaux doivent combiner des signaux provenant de différentes sources. Cependant, ces modalités présentent des caractéristiques différentes et sont difficiles à combiner au sein d’un modèle unique. Par exemple, la vidéo et le texte ont des taux d'échantillonnage différents

Récemment, l'équipe de recherche de Google DeepMind a découplé le modèle multimodal en plusieurs modèles autorégressifs indépendants et spécialisés à traiter en fonction des caractéristiques des différentes modalités saisies.

Plus précisément, l'étude propose un modèle multimodal appelé Mirasol3B. Mirasol3B se compose de composants autorégressifs synchronisés dans le temps pour l'audio et la vidéo ainsi que de composants autorégressifs pour les modalités contextuelles. Ces modalités ne sont pas nécessairement alignées dans le temps, mais disposées séquentiellement

Adresse papier : https://arxiv.org/abs/2311.05698

Mirasol3B atteint SOTA au niveau des benchmarks multimodaux, surpassant les modèles plus grands. En apprenant des représentations plus compactes, en contrôlant la longueur de séquence des représentations de caractéristiques audio-vidéo et en modélisant sur la base de correspondances temporelles, Mirasol3B est en mesure de répondre efficacement aux exigences de calcul élevées des entrées multimodales.

Introduction à la méthode

Mirasol3B est un modèle multimodal audio-vidéo-texte dans lequel la modélisation autorégressive est découplée en composants autorégressifs pour les modalités alignées dans le temps (par exemple audio, vidéo) et pour les composants non autorégressifs d'alignement temporel. modalités contextuelles (par exemple, texte). Mirasol3B utilise des poids d'attention croisée pour coordonner le processus d'apprentissage de ces composants. Ce découplage rend la répartition des paramètres au sein du modèle plus raisonnable, alloue suffisamment de capacité aux modalités (vidéo et audio) et allège le modèle global.

Comme le montre la figure 1, Mirasol3B se compose de deux composants d'apprentissage principaux : un composant autorégressif et un composant de combinaison d'entrées. Parmi eux, le composant autorégressif est conçu pour gérer des entrées multimodales presque simultanées telles que la vidéo et l'audio pour des combinaisons d'entrées opportunes

Lors de la réécriture du contenu, la signification originale doit rester inchangée, et changer la langue en chinois. L'étude propose de segmenter les modalités temporellement alignées en segments temporels et d'apprendre des représentations conjointes audio-vidéo dans les segments temporels. Plus précisément, cette recherche propose un mécanisme d'apprentissage modal conjoint des fonctionnalités appelé « Combiner ». "Combiner" fusionne les caractéristiques modales au cours de la même période pour générer une représentation plus compacte

"Combiner" extrait la représentation spatio-temporelle primaire de l'entrée modale d'origine, capture les caractéristiques dynamiques de la vidéo et la combine avec le modèle commun. recevez une entrée multimodale à différents débits et fonctionne bien lors du traitement de vidéos plus longues.

"Combiner" répond efficacement au besoin d'une représentation modale d'être à la fois efficace et informative. Il peut couvrir entièrement les événements et les activités en vidéo et dans d'autres modalités concurrentes, et peut être utilisé dans des modèles autorégressifs ultérieurs pour apprendre les dépendances à long terme.

Afin de traiter les signaux vidéo et audio et de s'adapter à des entrées vidéo/audio plus longues, ils sont divisés en petits morceaux (à peu près synchronisés dans le temps), puis les représentations audiovisuelles conjointes sont apprises via "Combiner". . Le deuxième composant gère le contexte ou les signaux mal alignés dans le temps, tels que les informations textuelles globales, qui sont souvent encore continues. Il est également autorégressif et utilise l’espace latent combiné comme entrée d’attention croisée.

Le composant d'apprentissage contient de la vidéo et de l'audio, et ses paramètres sont de 3B tandis que le composant sans audio est de 2,9B ; Parmi eux, la plupart des paramètres sont utilisés dans les modèles autorégressifs audio et vidéo. Mirasol3B traite généralement des vidéos de 128 images, et peut également traiter des vidéos plus longues, telles que 512 images. En raison de la conception de la partition et de l'architecture du modèle « Combiner », l'ajout de plus d'images ou l'augmentation de la taille et du nombre de blocs, etc. seulement Les paramètres seront légèrement augmentés, ce qui résout le problème selon lequel les vidéos plus longues nécessitent plus de paramètres et une plus grande mémoire.

Expériences et résultats

L'étude a évalué Mirasol3B sur le benchmark standard VideoQA, le benchmark vidéo longue vidéo et le benchmark audio+vidéo.

Les résultats des tests sur l'ensemble de données VideoQA MSRVTTQA sont présentés dans le tableau 1 ci-dessous. Mirasol3B surpasse le modèle SOTA actuel, ainsi que les modèles plus grands tels que PaLI-X et Flamingo.

En termes de questions et réponses vidéo longues, cette étude a testé et évalué Mirasol3B sur les ensembles de données ActivityNet-QA et NExTQA. Les résultats sont présentés dans le tableau 2 ci-dessous :

Dans le À la fin, les études KineticsSound, VGG-Sound et Epic-Sound ont été sélectionnées pour une analyse comparative audio-vidéo et une évaluation de génération ouverte a été adoptée. Les résultats expérimentaux sont présentés dans le tableau 3 ci-dessous :

Les lecteurs intéressés peuvent lire le texte original de l'article pour en savoir plus sur le contenu de la recherche.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!