Table des matières
Présentation de la méthode
Résultats expérimentaux
Maison Périphériques technologiques IA DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

Apr 12, 2023 pm 04:49 PM
图像 模型

Un objectif important de la recherche multimodale est d'améliorer la capacité de la machine à comprendre les images et le texte. En particulier, les chercheurs ont déployé de grands efforts pour parvenir à une communication significative entre les deux modèles. Par exemple, la génération de sous-titres d’images devrait être capable de convertir le contenu sémantique de l’image en un texte cohérent et compréhensible par les humains. En revanche, les modèles génératifs texte-image peuvent également exploiter la sémantique des descriptions textuelles pour créer des images réalistes.

Cela amène à quelques questions intéressantes liées à la sémantique : pour une image donnée, quelle description textuelle décrit le plus précisément l'image ? De même, pour un texte donné, quelle est la manière la plus significative de mettre en œuvre une image ? Concernant la première question, certaines études affirment que la meilleure description d’image doit être une information à la fois naturelle et capable de restituer le contenu visuel. Quant à la deuxième question, les images significatives doivent être de haute qualité, diversifiées et fidèles au contenu du texte.

Dans tous les cas, motivées par la communication humaine, des tâches interactives impliquant des modèles génératifs texte-image et des modèles génératifs image-texte peuvent nous aider à sélectionner les paires image-texte les plus précises.

Comme le montre la figure 1, dans la première tâche, le modèle image-texte est l'expéditeur de l'information et le modèle texte-image est le récepteur de l'information. L'objectif de l'émetteur est de communiquer le contenu de l'image au destinataire en utilisant le langage naturel afin qu'il comprenne le langage et reconstruise une représentation visuelle réaliste. Une fois que le récepteur peut reconstruire les informations de l’image originale avec une haute fidélité, cela indique que les informations ont été transférées avec succès. Les chercheurs pensent que la description textuelle générée de cette manière est optimale et que l'image générée par celle-ci est également la plus similaire à l'image originale.

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

Cette règle s’inspire de l’utilisation du langage par les gens pour communiquer. Imaginez le scénario suivant : lors d'une scène d'appel d'urgence, la police apprend par téléphone l'accident de voiture et l'état des blessés. Il s’agit essentiellement du processus de description d’images par les témoins présents sur les lieux. La police doit reconstruire mentalement la scène environnementale sur la base de la description verbale afin d'organiser une opération de sauvetage appropriée. Évidemment, la meilleure description textuelle devrait être le meilleur guide pour la reconstruction de la scène.

La deuxième tâche implique la reconstruction de texte : le modèle texte-image devient l'expéditeur du message, et le modèle image-texte devient le récepteur du message. Une fois que les deux modèles s'accordent sur le contenu de l'information au niveau textuel, le support image utilisé pour véhiculer l'information est l'image optimale qui reproduit le texte source.

Dans cet article, la méthode proposée par des chercheurs de l'Université de Munich, de Siemens et d'autres institutions est étroitement liée à la communication entre agents. La langue est la principale méthode d’échange d’informations entre agents. Mais comment pouvons-nous être sûrs que le premier agent et le deuxième agent ont la même compréhension de ce qu’est un chat ou d’un chien ?

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

Adresse papier : https://arxiv.org/pdf/2212.12249.pdf

L'idée que cet article souhaite explorer est de laisser le premier agent analyser l'image et générer une description du texte de l'image, puis le deuxième agent récupère le texte et simule l'image en fonction de celui-ci. Parmi eux, ce dernier processus peut être considéré comme un processus d’incarnation. L'étude estime que la communication réussit si l'image simulée par le deuxième agent est similaire à l'image d'entrée reçue par le premier agent (voir Figure 1). ​

Dans les expériences, cette étude a utilisé des modèles disponibles dans le commerce, en particulier des modèles pré-entraînés à grande échelle récemment développés. Par exemple, Flamingo et BLIP sont des modèles de description d'images qui peuvent générer automatiquement des descriptions textuelles basées sur des images. De même, les modèles de génération d'images formés sur des paires image-texte peuvent comprendre la sémantique profonde du texte et synthétiser des images de haute qualité, telles que le modèle DALL-E et le modèle de diffusion latente (SD).

De plus, l'étude utilise également le modèle CLIP pour comparer des images ou du texte. CLIP est un modèle de langage visuel qui mappe les images et le texte dans un espace d'intégration partagé. Cette étude utilise des ensembles de données de texte d'image créés manuellement tels que COCO et NoCaps pour évaluer la qualité du texte généré. Les modèles génératifs d'images et de textes comportent des composants stochastiques qui permettent d'échantillonner à partir de distributions, sélectionnant ainsi le meilleur parmi une gamme de textes et d'images candidats. Différentes méthodes d'échantillonnage, y compris l'échantillonnage par noyau, peuvent être utilisées dans les modèles de description d'image, et cet article utilise l'échantillonnage par noyau comme modèle de base pour montrer la supériorité de la méthode utilisée dans cet article.

Présentation de la méthode

Le cadre de cet article se compose de trois réseaux de neurones SOTA pré-entraînés. Premièrement, le modèle de génération image-texte ; deuxièmement, le modèle de génération texte-image ; troisièmement, le modèle de représentation multimodale composé d'un encodeur d'image et d'un encodeur de texte, qui peuvent respectivement mapper des images ou des textes dans leurs intégrations sémantiques.

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

Reconstruction d'image par description textuelle

Comme le montre la moitié gauche de la figure 2, la tâche de reconstruction d'image consiste à utiliser le langage comme instructions pour reconstruire l'image source. favoriser la description de la scène source pour une génération de texte optimale. Tout d’abord, une image source x est introduite dans le modèle BLIP pour générer plusieurs textes candidats y_k. Par exemple, un panda roux mange des feuilles dans les bois. L'ensemble de textes candidats générés est noté C, puis le texte y_k est envoyé au modèle SD pour générer l'image x'_k. Ici, x'_k fait référence à l'image générée à partir du panda rouge. Par la suite, l'encodeur d'images CLIP est utilisé pour extraire les caractéristiques sémantiques : DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte et DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte de la source et des images générées.

Ensuite, la similarité cosinus entre ces deux vecteurs d'intégration est calculée dans le but de trouver la description du texte candidat y_s, c'est-à-dire

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

où s est l'index d'image le plus proche de l'image source.

L'étude utilise CIDEr (Image Description Metric) et fait référence à des annotations humaines pour évaluer les meilleurs textes. Puisque nous nous intéressons à la qualité du texte généré, cette étude définit le modèle BLIP pour produire un texte à peu près de la même longueur. Cela garantit une comparaison relativement équitable, car la longueur du texte est positivement corrélée à la quantité d’informations contenues dans l’image qui peuvent être transmises. Durant ce travail, tous les modèles seront figés et aucun réglage fin ne sera effectué.

Reconstruction de texte à partir d'images

La partie droite de la figure 2 montre le processus inverse du processus décrit dans la section précédente. Le modèle BLIP nécessite de deviner le texte source guidé par une SD, qui a accès au texte mais ne peut restituer son contenu que sous forme d'image. Le processus commence par utiliser SD pour générer des images candidates x_k pour le texte y, et l'ensemble résultant d'images candidates est noté K. La génération d'images à l'aide de SD implique un processus d'échantillonnage aléatoire, où chaque processus de génération peut aboutir à différents échantillons d'images valides dans un immense espace de pixels. Cette diversité d'échantillonnage fournit un pool de candidats pour filtrer les meilleures images. Par la suite, le modèle BLIP génère une description textuelle y’_k pour chaque image échantillonnée x_k. Ici, y’_k fait référence au texte initial Un panda roux rampe dans la forêt. L'étude utilise ensuite l'encodeur de texte CLIP pour extraire les caractéristiques du texte source et du texte généré, désignées respectivement par DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte et DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte. Le but de cette tâche est de trouver la meilleure image candidate x_s qui correspond à la sémantique du texte y. Pour ce faire, l'étude doit comparer la distance entre le texte généré et le texte saisi, puis sélectionner l'image avec la plus petite distance de texte appariée, c'est-à-dire

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

L'étude estime que l'image x_s peut décrire au mieux la description du texte y, car il peut fournir du contenu au destinataire avec une perte d'informations minimale. De plus, l'étude traite l'image DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte correspondant au texte y comme une présentation de référence de y et quantifie la meilleure image comme sa proximité avec l'image de référence.

Résultats expérimentaux

Le graphique de gauche de la figure 3 montre la corrélation entre la qualité de la reconstruction de l'image et la qualité du texte de description sur les deux ensembles de données. Pour chaque image donnée, plus la qualité de l'image reconstruite (affichée sur l'axe des x) est bonne, meilleure est la qualité de la description du texte (affichée sur l'axe des y).

Le graphique de droite de la figure 3 révèle la relation entre la qualité du texte récupéré et la qualité de l'image générée : pour chaque texte donné, meilleure est la description du texte reconstruit (affichée sur l'axe des x), meilleure est la qualité de l'image ( affiché sur l’axe y) est meilleur.

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

Les figures 4(a) et (b) montrent la relation entre la qualité de la reconstruction de l'image et la qualité moyenne du texte basée sur les images sources. Les figures 4 (c) et (d) montrent la corrélation entre la distance du texte et la qualité de l'image reconstruite.

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

Le tableau 1 montre que la méthode d'échantillonnage de l'étude surpasse l'échantillonnage par noyau dans chaque métrique, et le gain relatif du modèle peut atteindre 7,7 %.

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

La figure 5 montre des exemples qualitatifs de deux tâches de reconstruction.

DALL-E et Flamingo peuvent-ils se comprendre ? Trois réseaux neuronaux SOTA pré-entraînés unifient les images et le texte

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

See all articles