


Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes
Les modèles de base multimodaux et multitâches actuels, tels que **4M** ou **UnifiedIO**, montrent des résultats prometteurs. Cependant, leur capacité originale à accepter différentes entrées et à effectuer différentes tâches est limitée par le nombre (généralement faible) de modalités et de tâches pour lesquelles ils sont formés.
, Sur cette base, des chercheurs de l'Ecole Polytechnique Fédérale de Lausanne (EPFL) et Apple ont développé conjointement un modèle unique modal **avancé** any-to-any qui est **largement** diversifié dans des dizaines de formations. diverses modalités et effectuer une formation collaborative sur des ensembles de données multimodaux et des corpus de textes à grande échelle.
Une étape clé du processus de formation consiste à effectuer une **tokénisation** discrète sur diverses modalités, qu'il s'agisse de données structurées telles qu'un réseau neuronal de type image **cartes de caractéristiques**, de vecteurs, de segmentation d'instance ou de poses humaines, ou Données pouvant être représentées sous forme de texte.
Adresse du papier : https://arxiv.org/pdf/2406.09406
Page d'accueil du papier https://4m.epfl.ch/
Titre du papier : 4M-21 : An Any -to-Any Vision Model pour des dizaines de tâches et de modalités
Cette étude montre que la formation d'un seul modèle peut également effectuer au moins **trois fois** plus de tâches/**modalités** que les modèles existants, et le fait non, les performances seront perdues. En outre, cette recherche permet également d’obtenir des capacités de génération de données multimodes plus fines et plus contrôlables.
Cette recherche s'appuie sur le schéma de pré-formation au masque multimodal et améliore les capacités du modèle en s'entraînant sur des dizaines de modalités très diverses. En l'encodant à l'aide de tokenizers discrets spécifiques aux modalités, l'étude permet de former un seul modèle unifié sur différentes modalités.
En termes simples, cette recherche étend les capacités des modèles existants dans plusieurs dimensions clés :
Modalités : de 7 modalités du meilleur modèle arbitraire à arbitraire existant à 21 modalités différentes, permettant une récupération intermodale et une génération contrôlable. et de puissantes performances prêtes à l'emploi. C'est la première fois qu'un modèle de vision unique peut résoudre des dizaines de tâches différentes de manière polyvalente sans compromettre les performances et sans aucun apprentissage multitâche traditionnel.
Diversité : ajoutez la prise en charge de données plus structurées, telles que les poses humaines, les instances SAM, les métadonnées, etc.
tokenisation : étudiez la tokenisation discrète de différentes modalités à l'aide de méthodes spécifiques aux modalités, telles que l'intégration d'images globales, les poses humaines et les instances sémantiques.
Extension : étendez la taille du modèle à 3 B de paramètres et l'ensemble de données à 0,5 B d'échantillons.
Formation collaborative : formation collaborative en vision et en langage en même temps.
Introduction à la méthode
Cette étude utilise le programme de pré-formation 4M (l'étude provient également de l'EPFL et d'Apple et a été publiée l'année dernière), qui s'est avérée être une méthode générale qui peut être efficacement étendue à plusieurs -modalité.
Plus précisément, cet article maintient inchangés les objectifs de formation de l'architecture et du masque multimodal, en augmentant la taille du modèle et des ensembles de données, en augmentant le type et le nombre de modalités impliquées dans la formation du modèle, et conjointement sur plusieurs ensembles de données. La formation peut améliorer les performances et l’adaptabilité du modèle.
Les modalités sont divisées dans les catégories suivantes : RVB, géométrie, sémantique, bord, carte des caractéristiques, métadonnées et texte, comme le montre la figure ci-dessous.
Tokenisation
La tokenisation comprend principalement la conversion de différentes modalités et tâches en séquences ou jetons discrets, unifiant ainsi leurs espaces de représentation. Les chercheurs utilisent différentes méthodes de tokenisation pour discrétiser les modes présentant des caractéristiques différentes, comme le montre la figure 3. En résumé, cet article utilise trois tokenizers, dont le tokenizer ViT, le tokenizer MLP et le tokenizer texte.
En termes de sélection d'architecture, cet article adopte l'architecture encodeur-décodeur 4M basée sur Transformer, et ajoute des intégrations modales supplémentaires pour s'adapter aux nouvelles modalités.
Résultats expérimentaux
Ensuite, l'article démontre les capacités multimodales du 4M-21.
Génération multimodale
Basé sur un jeton de décodage itératif, 4M-21 peut être utilisé pour prédire n'importe quelle modalité d'entraînement. Comme le montre la figure 2, cet article peut générer toutes les modalités de manière cohérente à partir d'une modalité d'entrée donnée.
De plus, étant donné que cette étude peut générer de manière conditionnelle et inconditionnelle n'importe quelle modalité de formation à partir de n'importe quel sous-ensemble d'autres modalités, elle prend en charge plusieurs méthodes pour effectuer une génération fine et multimodale, comme le montre la figure 4, par exemple, effectuer une édition multimodale . De plus, 4M-21 démontre une compréhension améliorée du texte, à la fois sur les intégrations T5-XXL et les sous-titres réguliers, permettant une génération géométrique et sémantiquement sonore (Figure 4, en haut à droite).
Récupération multimodale
Comme le montre la figure 5, 4M-21 débloque des capacités de récupération qui ne sont pas possibles avec les modèles DINOv2 et ImageBind d'origine, telles que la récupération d'images RVB ou d'autres modalités en utilisant d'autres modalités comme requêtes . De plus, 4M-21 peut combiner plusieurs modalités pour prédire les plongements globaux, permettant ainsi un meilleur contrôle de la récupération, comme indiqué à droite.
Hors de la boîte
Le 4M-21 est capable d'effectuer une gamme de tâches de vision courantes prêtes à l'emploi, comme le montre la figure 6.
Le Tableau 1 évalue l'estimation de la normale et de la profondeur de la surface DIODE, la segmentation sémantique et des instances COCO, l'estimation de la pose humaine 3D 3DPW, etc.
Expérience de transfert
De plus, cet article a également formé des modèles de trois tailles différentes : B, L et XL. Leur encodeur est ensuite transféré aux tâches en aval et évalué sur les paramètres monomodalité (RVB) et multimodalité (RVB + profondeur). Toutes les expériences de transfert abandonnent le décodeur et forment à la place un responsable spécifique à une tâche. Les résultats sont présentés dans le tableau 2 :
Enfin, cet article effectue un transfert multimodal sur NYUv2, une segmentation sémantique Hypersim et une détection d'objets 3D sur ARKitScenes. Comme le montre le tableau 3, 4M-21 tire pleinement parti de l'entrée de profondeur facultative et améliore considérablement la ligne de base.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds











Il s'agit également d'une vidéo Tusheng, mais PaintsUndo a emprunté une voie différente. L'auteur de ControlNet, LvminZhang, a recommencé à vivre ! Cette fois, je vise le domaine de la peinture. Le nouveau projet PaintsUndo a reçu 1,4kstar (toujours en hausse folle) peu de temps après son lancement. Adresse du projet : https://github.com/lllyasviel/Paints-UNDO Grâce à ce projet, l'utilisateur saisit une image statique et PaintsUndo peut automatiquement vous aider à générer une vidéo de l'ensemble du processus de peinture, du brouillon de ligne au suivi du produit fini. . Pendant le processus de dessin, les changements de lignes sont étonnants. Le résultat vidéo final est très similaire à l’image originale : jetons un coup d’œil à un dessin complet.

La colonne AIxiv est une colonne où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com Les auteurs de cet article font tous partie de l'équipe de l'enseignant Zhang Lingming de l'Université de l'Illinois à Urbana-Champaign (UIUC), notamment : Steven Code repair ; doctorant en quatrième année, chercheur

La colonne AIxiv est une colonne où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com Dans le processus de développement de l'intelligence artificielle, le contrôle et le guidage des grands modèles de langage (LLM) ont toujours été l'un des principaux défis, visant à garantir que ces modèles sont à la fois puissant et sûr au service de la société humaine. Les premiers efforts se sont concentrés sur les méthodes d’apprentissage par renforcement par feedback humain (RL

acclamations! Qu’est-ce que ça fait lorsqu’une discussion sur papier se résume à des mots ? Récemment, des étudiants de l'Université de Stanford ont créé alphaXiv, un forum de discussion ouvert pour les articles arXiv qui permet de publier des questions et des commentaires directement sur n'importe quel article arXiv. Lien du site Web : https://alphaxiv.org/ En fait, il n'est pas nécessaire de visiter spécifiquement ce site Web. Il suffit de remplacer arXiv dans n'importe quelle URL par alphaXiv pour ouvrir directement l'article correspondant sur le forum alphaXiv : vous pouvez localiser avec précision les paragraphes dans. l'article, Phrase : dans la zone de discussion sur la droite, les utilisateurs peuvent poser des questions à l'auteur sur les idées et les détails de l'article. Par exemple, ils peuvent également commenter le contenu de l'article, tels que : "Donné à".

Si la réponse donnée par le modèle d’IA est incompréhensible du tout, oseriez-vous l’utiliser ? À mesure que les systèmes d’apprentissage automatique sont utilisés dans des domaines de plus en plus importants, il devient de plus en plus important de démontrer pourquoi nous pouvons faire confiance à leurs résultats, et quand ne pas leur faire confiance. Une façon possible de gagner confiance dans le résultat d'un système complexe est d'exiger que le système produise une interprétation de son résultat qui soit lisible par un humain ou un autre système de confiance, c'est-à-dire entièrement compréhensible au point que toute erreur possible puisse être trouvé. Par exemple, pour renforcer la confiance dans le système judiciaire, nous exigeons que les tribunaux fournissent des avis écrits clairs et lisibles qui expliquent et soutiennent leurs décisions. Pour les grands modèles de langage, nous pouvons également adopter une approche similaire. Cependant, lorsque vous adoptez cette approche, assurez-vous que le modèle de langage génère

Récemment, l’hypothèse de Riemann, connue comme l’un des sept problèmes majeurs du millénaire, a réalisé une nouvelle avancée. L'hypothèse de Riemann est un problème mathématique non résolu très important, lié aux propriétés précises de la distribution des nombres premiers (les nombres premiers sont les nombres qui ne sont divisibles que par 1 et par eux-mêmes, et jouent un rôle fondamental dans la théorie des nombres). Dans la littérature mathématique actuelle, il existe plus d'un millier de propositions mathématiques basées sur l'établissement de l'hypothèse de Riemann (ou sa forme généralisée). En d’autres termes, une fois que l’hypothèse de Riemann et sa forme généralisée seront prouvées, ces plus d’un millier de propositions seront établies sous forme de théorèmes, qui auront un impact profond sur le domaine des mathématiques et si l’hypothèse de Riemann s’avère fausse, alors parmi eux ; ces propositions qui en font partie perdront également de leur efficacité. Une nouvelle percée vient du professeur de mathématiques du MIT, Larry Guth, et de l'Université d'Oxford

Les modèles linguistiques peuvent-ils vraiment être utilisés pour la prédiction de séries chronologiques ? Selon la loi des gros titres de Betteridge (tout titre d'actualité se terminant par un point d'interrogation peut recevoir une réponse « non »), la réponse devrait être non. Le fait semble être vrai : un LLM aussi puissant ne peut pas bien gérer les données de séries chronologiques. Les séries chronologiques, c'est-à-dire les séries chronologiques, comme leur nom l'indique, font référence à un ensemble de séquences de points de données disposées par ordre temporel. L'analyse des séries chronologiques est essentielle dans de nombreux domaines, notamment la prévision de la propagation des maladies, l'analyse du commerce de détail, la santé et la finance. Dans le domaine de l'analyse des séries chronologiques, de nombreux chercheurs ont récemment étudié comment utiliser les grands modèles linguistiques (LLM) pour classer, prédire et détecter les anomalies dans les séries chronologiques. Ces articles supposent que les modèles de langage capables de gérer les dépendances séquentielles dans le texte peuvent également se généraliser aux séries chronologiques.

La colonne AIxiv est une colonne où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com. Introduction Ces dernières années, l'application de grands modèles de langage multimodaux (MLLM) dans divers domaines a connu un succès remarquable. Cependant, en tant que modèle de base pour de nombreuses tâches en aval, le MLLM actuel se compose du célèbre réseau Transformer, qui
