Grands modèles multimodaux Kuaishou et Beida : les images sont des langues étrangères, comparables à la percée de DALLE-3

Segmentation visuelle dynamique des mots, représentation graphique et textuelle unifiée, Kuaishou et l'Université de Pékin ont coopéré pour proposer le modèle de base LaVIT pour brosser la liste des tâches de compréhension et de génération multimodales.

Les modèles linguistiques actuels à grande échelle tels que GPT, LLaMA, etc. ont fait des progrès significatifs dans le domaine du traitement du langage naturel et sont capables de comprendre et de générer du contenu textuel complexe. Pour autant, avons-nous envisagé de transférer cette puissante capacité de compréhension et de génération aux données multimodales ? Cela nous permettra de donner facilement un sens à d’énormes quantités d’images et de vidéos et de créer un contenu richement illustré. Pour réaliser cette vision, Kuaishou et l'Université de Pékin ont récemment collaboré pour développer un nouveau grand modèle multimodal appelé LaVIT. LaVIT transforme progressivement cette idée en réalité et nous attendons avec impatience son développement ultérieur.

• Titre de l'article : Pré-formation unifiée en langage-vision en LLM avec tokenisation visuelle discrète dynamique

• Adresse de l'article : https://arxiv.org/abs/2309.04669

• Adresse du modèle de code : https : //github.com/jy0205/LaVIT

Présentation du modèle

LaVIT est un nouveau modèle de base multimodal général, similaire à un modèle de langage, qui peut comprendre et générer du contenu visuel. Le paradigme de formation de LaVIT s'appuie sur l'expérience réussie de grands modèles de langage et utilise une approche autorégressive pour prédire le prochain jeton d'image ou de texte. Après la formation, LaVIT peut servir d’interface universelle multimodale capable d’effectuer des tâches de compréhension et de génération multimodales sans ajustement supplémentaire. Par exemple, LaVIT a les capacités suivantes :

LaVIT est un modèle de génération d'images avancé qui peut générer des formats d'image multiples de haute qualité et des images très esthétiques basées sur des invites de texte. Les capacités de génération d'images de LaVIT se comparent avantageusement aux modèles de génération d'images de pointe tels que Parti, SDXL et DALLE-3. Il peut efficacement générer du texte en image de haute qualité, offrant aux utilisateurs plus de choix et une meilleure expérience visuelle.

Génération d'images basée sur des invites multimodales : étant donné que dans LaVIT, les images et les textes sont uniformément représentés sous forme de jetons discrétisés, il peut accepter plusieurs combinaisons modales (telles que texte, image + texte, image + image) comme invite pour générer l’image correspondante sans aucun réglage fin.

Comprendre le contenu de l'image et répondre aux questions : étant donné une image d'entrée, LaVIT est capable de lire le contenu de l'image et de comprendre sa sémantique. Par exemple, le modèle peut fournir des légendes pour les images d'entrée et répondre aux questions correspondantes.

Présentation de la méthode

La structure du modèle de LaVIT est présentée dans la figure ci-dessous. L'ensemble de son processus d'optimisation comprend deux étapes :

^{Figure : L'architecture globale du modèle LaVIT}

.

Phase 1 : Dynamic Visual Tokenizer

Afin de pouvoir comprendre et générer du contenu visuel comme le langage naturel, LaVIT introduit un tokenizer visuel bien conçu pour convertir le contenu visuel (signaux continus) en séquences de jetons comme le texte, tout comme Comme les langues étrangères que LLM peut comprendre. L'auteur estime que pour parvenir à une vision unifiée et à une modélisation du langage, le tokenizer visuel (Tokenizer) doit avoir les deux caractéristiques suivantes :

1. Discrétisation : les jetons visuels doivent être représentés sous des formes discrétisées comme le texte. Cela utilise une forme de représentation unifiée pour les deux modalités, ce qui permet à LaVIT d'utiliser la même perte de classification pour l'optimisation de la modélisation multimodale dans un cadre de formation générative autorégressive unifié.

2. Dynamicification : contrairement aux jetons de texte, les correctifs d'image ont des interdépendances importantes entre eux, ce qui rend relativement simple la déduction d'un correctif à partir d'un autre. Par conséquent, cette dépendance réduit l’efficacité de l’objectif d’optimisation de la prédiction du prochain jeton du LLM d’origine. LaVIT propose de réduire la redondance entre les correctifs visuels en utilisant la fusion de jetons, qui code un nombre dynamique de jetons visuels en fonction de la complexité sémantique différente des différentes images. De cette manière, pour des images de complexité différente, l'utilisation du codage dynamique des jetons améliore encore l'efficacité du pré-entraînement et évite les calculs de jetons redondants.

La figure suivante est la structure visuelle du segmenteur de mots proposée par LaVIT :

^{Figure : (a) Générateur de jetons visuels dynamiques (b) combinateur de jetons}

Le tokeniseur visuel dynamique comprend un sélecteur de jetons et un combinateur de jetons. Comme le montre la figure, le sélecteur de jetons est utilisé pour sélectionner les blocs d'images les plus informatifs, tandis que la fusion de jetons compresse les informations de ces blocs visuels non informatifs dans les jetons conservés pour réaliser la fusion des jetons redondants. L'ensemble du segmenteur de mots visuel dynamique est entraîné en maximisant la reconstruction sémantique de l'image d'entrée.

Sélecteur de jetons

Le sélecteur de jetons reçoit N fonctionnalités au niveau du bloc d'image en entrée. Son objectif est d'évaluer l'importance de chaque bloc d'image et de sélectionner le bloc contenant le plus d'informations pour représenter pleinement la sémantique entière. Pour atteindre cet objectif, un module léger composé de plusieurs couches MLP est utilisé pour prédire la distribution π. En échantillonnant à partir de la distribution π, un masque de décision binaire est généré qui indique s'il faut conserver le patch d'image correspondant.

Combinateur de jetons

Le combinateur de jetons divise N blocs d'images en deux groupes : conservez X_r et supprimez X_d en fonction du masque de décision généré. Contrairement à la suppression directe de X_d, le combinateur de jetons peut préserver au maximum la sémantique détaillée de l'image d'entrée. Le combinateur de jetons se compose de L blocs empilés, dont chacun comprend une couche d'auto-attention causale, une couche d'attention croisée et une couche de rétroaction. Dans la couche d'auto-attention causale, chaque jeton de X_r ne prête attention qu'à son jeton précédent pour garantir la cohérence avec la forme du jeton de texte dans LLM. Cette stratégie est plus performante que l’auto-attention bidirectionnelle. La couche d'attention croisée prend le jeton conservé X_r comme requête et fusionne les jetons dans X_d en fonction de leur similarité sémantique.

Phase 2 : Pré-formation générative unifiée

Les jetons visuels traités par le segmenteur de mots visuel sont connectés aux jetons de texte pour former une séquence multimodale comme entrée pendant la formation. Afin de distinguer les deux modalités, l'auteur insère des jetons spéciaux au début et à la fin de la séquence de jetons d'image : [IMG] et [/IMG], qui servent à indiquer le début et la fin du contenu visuel. Afin de pouvoir générer du texte et des images, LaVIT utilise deux formes de connexion image-texte : [image, texte] et [texte ;

Pour ces séquences d'entrée multimodales, LaVIT utilise une approche unifiée et autorégressive pour maximiser directement la probabilité de chaque séquence multimodale pour la pré-entraînement. Cette unification complète de l'espace de représentation et des méthodes de formation aide LLM à mieux apprendre l'interaction et l'alignement multimodaux. Une fois la pré-formation terminée, LaVIT a la capacité de percevoir des images et peut comprendre et générer des images comme du texte.

Expériences

Compréhension multimodale sans tir

LaVIT a obtenu des résultats de pointe sur des tâches de compréhension multimodale sans tir telles que la génération de légendes d'images (NoCaps, Flickr30k) et la réponse visuelle aux questions (VQAv2 , OKVQA, GQA, VizWiz) Performances de pointe.

^{Tableau 1 Évaluation de la tâche de compréhension multimodale Zero-shot}

Génération multimodale Zero-shot

Dans cette expérience, puisque le tokenizer visuel proposé est capable de représenter l'image comme un jeton de discrétisation, LaVIT a la capacité de synthétiser des images en générant des jetons visuels de type texte par autorégression. L'auteur a effectué une évaluation quantitative des performances de synthèse d'images du modèle dans des conditions de texte à échantillon nul, et les résultats de la comparaison sont présentés dans le tableau 2.

^{Tableau 2 Performances de génération de texte en image Zero-shot de différents modèles}

Comme le montre le tableau, LaVIT surpasse tous les autres modèles de langage multimodal. Par rapport à Emu, LaVIT apporte des améliorations supplémentaires sur les modèles LLM plus petits, démontrant d'excellentes capacités d'alignement visuel-verbal. De plus, LaVIT atteint des performances comparables à celles de l'expert texte-image de pointe Parti tout en utilisant moins de données de formation.

Génération d'images d'invite multimodales

LaVIT est capable d'accepter de manière transparente plusieurs combinaisons modales comme invites et de générer des images correspondantes sans aucun réglage fin. LaVIT génère des images qui reflètent avec précision le style et la sémantique d'un signal multimodal donné. Et il peut modifier l'image d'entrée d'origine avec des indices multimodaux de l'entrée. Les modèles traditionnels de génération d'images tels que Stable Diffusion ne peuvent pas atteindre cette capacité sans données supplémentaires en aval affinées.

^{Exemple de résultats de génération d'images multimodales}

Analyse qualitative

Comme le montre la figure ci-dessous, le tokeniseur dynamique de LaVIT peut sélectionner dynamiquement les blocs d'images les plus informatifs en fonction du contenu de l'image, et le code appris peut produire un codage visuel avec une sémantique de haut niveau.

^{Visualisation du tokenizer visuel dynamique (à gauche) et du livre de codes appris (à droite)}

Résumé

L'émergence de LaVIT fournit un paradigme innovant pour le traitement des tâches multimodales, hérite du succès paradigme d'apprentissage génératif autorégressif de LLM en utilisant un tokenizer visuel dynamique pour représenter la vision et le langage dans une représentation de token discrète unifiée. En optimisant selon un objectif de génération unifié, LaVIT peut traiter les images comme une langue étrangère, les comprendre et les générer comme du texte. Le succès de cette méthode fournit une nouvelle inspiration pour l’orientation du développement de la future recherche multimodale, en utilisant les puissantes capacités de raisonnement du LLM pour ouvrir de nouvelles possibilités pour une compréhension et une génération multimodales plus intelligentes et plus complètes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!