Maison Périphériques technologiques IA Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Jun 25, 2024 pm 05:17 PM
工程 苹果公司 4M-21 EPFL

Les modèles de base multimodaux et multitâches actuels, tels que **4M** ou **UnifiedIO**, montrent des résultats prometteurs. Cependant, leur capacité originale à accepter différentes entrées et à effectuer différentes tâches est limitée par le nombre (généralement faible) de modalités et de tâches pour lesquelles ils sont formés.

, Sur cette base, des chercheurs de l'Ecole Polytechnique Fédérale de Lausanne (EPFL) et Apple ont développé conjointement un modèle unique modal **avancé** any-to-any qui est **largement** diversifié dans des dizaines de formations. diverses modalités et effectuer une formation collaborative sur des ensembles de données multimodaux et des corpus de textes à grande échelle.

Une étape clé du processus de formation consiste à effectuer une **tokénisation** discrète sur diverses modalités, qu'il s'agisse de données structurées telles qu'un réseau neuronal de type image **cartes de caractéristiques**, de vecteurs, de segmentation d'instance ou de poses humaines, ou Données pouvant être représentées sous forme de texte.

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

  • Adresse du papier : https://arxiv.org/pdf/2406.09406

  • Page d'accueil du papier https://4m.epfl.ch/

  • Titre du papier : 4M-21 : An Any -to-Any Vision Model pour des dizaines de tâches et de modalités

Cette étude montre que la formation d'un seul modèle peut également effectuer au moins **trois fois** plus de tâches/**modalités** que les modèles existants, et le fait non, les performances seront perdues. En outre, cette recherche permet également d’obtenir des capacités de génération de données multimodes plus fines et plus contrôlables.

Cette recherche s'appuie sur le schéma de pré-formation au masque multimodal et améliore les capacités du modèle en s'entraînant sur des dizaines de modalités très diverses. En l'encodant à l'aide de tokenizers discrets spécifiques aux modalités, l'étude permet de former un seul modèle unifié sur différentes modalités.

En termes simples, cette recherche étend les capacités des modèles existants dans plusieurs dimensions clés :

  • Modalités : de 7 modalités du meilleur modèle arbitraire à arbitraire existant à 21 modalités différentes, permettant une récupération intermodale et une génération contrôlable. et de puissantes performances prêtes à l'emploi. C'est la première fois qu'un modèle de vision unique peut résoudre des dizaines de tâches différentes de manière polyvalente sans compromettre les performances et sans aucun apprentissage multitâche traditionnel.

  • Diversité : ajoutez la prise en charge de données plus structurées, telles que les poses humaines, les instances SAM, les métadonnées, etc.

  • tokenisation : étudiez la tokenisation discrète de différentes modalités à l'aide de méthodes spécifiques aux modalités, telles que l'intégration d'images globales, les poses humaines et les instances sémantiques.

  • Extension : étendez la taille du modèle à 3 B de paramètres et l'ensemble de données à 0,5 B d'échantillons.

  • Formation collaborative : formation collaborative en vision et en langage en même temps.

Introduction à la méthode

Cette étude utilise le programme de pré-formation 4M (l'étude provient également de l'EPFL et d'Apple et a été publiée l'année dernière), qui s'est avérée être une méthode générale qui peut être efficacement étendue à plusieurs -modalité.

Plus précisément, cet article maintient inchangés les objectifs de formation de l'architecture et du masque multimodal, en augmentant la taille du modèle et des ensembles de données, en augmentant le type et le nombre de modalités impliquées dans la formation du modèle, et conjointement sur plusieurs ensembles de données. La formation peut améliorer les performances et l’adaptabilité du modèle.

Les modalités sont divisées dans les catégories suivantes : RVB, géométrie, sémantique, bord, carte des caractéristiques, métadonnées et texte, comme le montre la figure ci-dessous.

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Tokenisation

La tokenisation comprend principalement la conversion de différentes modalités et tâches en séquences ou jetons discrets, unifiant ainsi leurs espaces de représentation. Les chercheurs utilisent différentes méthodes de tokenisation pour discrétiser les modes présentant des caractéristiques différentes, comme le montre la figure 3. En résumé, cet article utilise trois tokenizers, dont le tokenizer ViT, le tokenizer MLP et le tokenizer texte.

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

En termes de sélection d'architecture, cet article adopte l'architecture encodeur-décodeur 4M basée sur Transformer, et ajoute des intégrations modales supplémentaires pour s'adapter aux nouvelles modalités.

Résultats expérimentaux

Ensuite, l'article démontre les capacités multimodales du 4M-21.

Génération multimodale

Basé sur un jeton de décodage itératif, 4M-21 peut être utilisé pour prédire n'importe quelle modalité d'entraînement. Comme le montre la figure 2, cet article peut générer toutes les modalités de manière cohérente à partir d'une modalité d'entrée donnée. Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

De plus, étant donné que cette étude peut générer de manière conditionnelle et inconditionnelle n'importe quelle modalité de formation à partir de n'importe quel sous-ensemble d'autres modalités, elle prend en charge plusieurs méthodes pour effectuer une génération fine et multimodale, comme le montre la figure 4, par exemple, effectuer une édition multimodale . De plus, 4M-21 démontre une compréhension améliorée du texte, à la fois sur les intégrations T5-XXL et les sous-titres réguliers, permettant une génération géométrique et sémantiquement sonore (Figure 4, en haut à droite).

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Récupération multimodale

Comme le montre la figure 5, 4M-21 débloque des capacités de récupération qui ne sont pas possibles avec les modèles DINOv2 et ImageBind d'origine, telles que la récupération d'images RVB ou d'autres modalités en utilisant d'autres modalités comme requêtes . De plus, 4M-21 peut combiner plusieurs modalités pour prédire les plongements globaux, permettant ainsi un meilleur contrôle de la récupération, comme indiqué à droite.

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Hors de la boîte

Le 4M-21 est capable d'effectuer une gamme de tâches de vision courantes prêtes à l'emploi, comme le montre la figure 6.

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Le Tableau 1 évalue l'estimation de la normale et de la profondeur de la surface DIODE, la segmentation sémantique et des instances COCO, l'estimation de la pose humaine 3D 3DPW, etc.

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Expérience de transfert

De plus, cet article a également formé des modèles de trois tailles différentes : B, L et XL. Leur encodeur est ensuite transféré aux tâches en aval et évalué sur les paramètres monomodalité (RVB) et multimodalité (RVB + profondeur). Toutes les expériences de transfert abandonnent le décodeur et forment à la place un responsable spécifique à une tâche. Les résultats sont présentés dans le tableau 2 :

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Enfin, cet article effectue un transfert multimodal sur NYUv2, une segmentation sémantique Hypersim et une détection d'objets 3D sur ARKitScenes. Comme le montre le tableau 3, 4M-21 tire pleinement parti de l'entrée de profondeur facultative et améliore considérablement la ligne de base.

Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

<🎜>: Bubble Gum Simulator Infinity - Comment obtenir et utiliser les clés royales
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
<🎜>: Grow A Garden - Guide de mutation complet
3 Il y a quelques semaines By DDD
Nordhold: Système de fusion, expliqué
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Mandragora: Whispers of the Witch Tree - Comment déverrouiller le grappin
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Tutoriel Java
1671
14
Tutoriel PHP
1276
29
Tutoriel C#
1256
24
L'auteur de ControlNet a encore un succès ! L'ensemble du processus de génération d'une peinture à partir d'une image, gagnant 1,4k étoiles en deux jours L'auteur de ControlNet a encore un succès ! L'ensemble du processus de génération d'une peinture à partir d'une image, gagnant 1,4k étoiles en deux jours Jul 17, 2024 am 01:56 AM

Il s'agit également d'une vidéo Tusheng, mais PaintsUndo a emprunté une voie différente. L'auteur de ControlNet, LvminZhang, a recommencé à vivre ! Cette fois, je vise le domaine de la peinture. Le nouveau projet PaintsUndo a reçu 1,4kstar (toujours en hausse folle) peu de temps après son lancement. Adresse du projet : https://github.com/lllyasviel/Paints-UNDO Grâce à ce projet, l'utilisateur saisit une image statique et PaintsUndo peut automatiquement vous aider à générer une vidéo de l'ensemble du processus de peinture, du brouillon de ligne au suivi du produit fini. . Pendant le processus de dessin, les changements de lignes sont étonnants. Le résultat vidéo final est très similaire à l’image originale : jetons un coup d’œil à un dessin complet.

En tête de liste des ingénieurs logiciels d'IA open source, la solution sans agent de l'UIUC résout facilement les problèmes de programmation réels du banc SWE. En tête de liste des ingénieurs logiciels d'IA open source, la solution sans agent de l'UIUC résout facilement les problèmes de programmation réels du banc SWE. Jul 17, 2024 pm 10:02 PM

La colonne AIxiv est une colonne où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com Les auteurs de cet article font tous partie de l'équipe de l'enseignant Zhang Lingming de l'Université de l'Illinois à Urbana-Champaign (UIUC), notamment : Steven Code repair ; doctorant en quatrième année, chercheur

Du RLHF au DPO en passant par TDPO, les algorithmes d'alignement des grands modèles sont déjà « au niveau des jetons » Du RLHF au DPO en passant par TDPO, les algorithmes d'alignement des grands modèles sont déjà « au niveau des jetons » Jun 24, 2024 pm 03:04 PM

La colonne AIxiv est une colonne où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com Dans le processus de développement de l'intelligence artificielle, le contrôle et le guidage des grands modèles de langage (LLM) ont toujours été l'un des principaux défis, visant à garantir que ces modèles sont à la fois puissant et sûr au service de la société humaine. Les premiers efforts se sont concentrés sur les méthodes d’apprentissage par renforcement par feedback humain (RL

Les articles arXiv peuvent être publiés sous forme de 'barrage', la plateforme de discussion alphaXiv de Stanford est en ligne, LeCun l'aime Les articles arXiv peuvent être publiés sous forme de 'barrage', la plateforme de discussion alphaXiv de Stanford est en ligne, LeCun l'aime Aug 01, 2024 pm 05:18 PM

acclamations! Qu’est-ce que ça fait lorsqu’une discussion sur papier se résume à des mots ? Récemment, des étudiants de l'Université de Stanford ont créé alphaXiv, un forum de discussion ouvert pour les articles arXiv qui permet de publier des questions et des commentaires directement sur n'importe quel article arXiv. Lien du site Web : https://alphaxiv.org/ En fait, il n'est pas nécessaire de visiter spécifiquement ce site Web. Il suffit de remplacer arXiv dans n'importe quelle URL par alphaXiv pour ouvrir directement l'article correspondant sur le forum alphaXiv : vous pouvez localiser avec précision les paragraphes dans. l'article, Phrase : dans la zone de discussion sur la droite, les utilisateurs peuvent poser des questions à l'auteur sur les idées et les détails de l'article. Par exemple, ils peuvent également commenter le contenu de l'article, tels que : "Donné à".

Travail posthume de l'équipe OpenAI Super Alignment : deux grands modèles jouent à un jeu et le résultat devient plus compréhensible Travail posthume de l'équipe OpenAI Super Alignment : deux grands modèles jouent à un jeu et le résultat devient plus compréhensible Jul 19, 2024 am 01:29 AM

Si la réponse donnée par le modèle d’IA est incompréhensible du tout, oseriez-vous l’utiliser ? À mesure que les systèmes d’apprentissage automatique sont utilisés dans des domaines de plus en plus importants, il devient de plus en plus important de démontrer pourquoi nous pouvons faire confiance à leurs résultats, et quand ne pas leur faire confiance. Une façon possible de gagner confiance dans le résultat d'un système complexe est d'exiger que le système produise une interprétation de son résultat qui soit lisible par un humain ou un autre système de confiance, c'est-à-dire entièrement compréhensible au point que toute erreur possible puisse être trouvé. Par exemple, pour renforcer la confiance dans le système judiciaire, nous exigeons que les tribunaux fournissent des avis écrits clairs et lisibles qui expliquent et soutiennent leurs décisions. Pour les grands modèles de langage, nous pouvons également adopter une approche similaire. Cependant, lorsque vous adoptez cette approche, assurez-vous que le modèle de langage génère

Une avancée significative dans l'hypothèse de Riemann ! Tao Zhexuan recommande fortement les nouveaux articles du MIT et d'Oxford, et le lauréat de la médaille Fields, âgé de 37 ans, a participé Une avancée significative dans l'hypothèse de Riemann ! Tao Zhexuan recommande fortement les nouveaux articles du MIT et d'Oxford, et le lauréat de la médaille Fields, âgé de 37 ans, a participé Aug 05, 2024 pm 03:32 PM

Récemment, l’hypothèse de Riemann, connue comme l’un des sept problèmes majeurs du millénaire, a réalisé une nouvelle avancée. L'hypothèse de Riemann est un problème mathématique non résolu très important, lié aux propriétés précises de la distribution des nombres premiers (les nombres premiers sont les nombres qui ne sont divisibles que par 1 et par eux-mêmes, et jouent un rôle fondamental dans la théorie des nombres). Dans la littérature mathématique actuelle, il existe plus d'un millier de propositions mathématiques basées sur l'établissement de l'hypothèse de Riemann (ou sa forme généralisée). En d’autres termes, une fois que l’hypothèse de Riemann et sa forme généralisée seront prouvées, ces plus d’un millier de propositions seront établies sous forme de théorèmes, qui auront un impact profond sur le domaine des mathématiques et si l’hypothèse de Riemann s’avère fausse, alors parmi eux ; ces propositions qui en font partie perdront également de leur efficacité. Une nouvelle percée vient du professeur de mathématiques du MIT, Larry Guth, et de l'Université d'Oxford

LLM n'est vraiment pas bon pour la prédiction de séries chronologiques. Il n'utilise même pas sa capacité de raisonnement. LLM n'est vraiment pas bon pour la prédiction de séries chronologiques. Il n'utilise même pas sa capacité de raisonnement. Jul 15, 2024 pm 03:59 PM

Les modèles linguistiques peuvent-ils vraiment être utilisés pour la prédiction de séries chronologiques ? Selon la loi des gros titres de Betteridge (tout titre d'actualité se terminant par un point d'interrogation peut recevoir une réponse « non »), la réponse devrait être non. Le fait semble être vrai : un LLM aussi puissant ne peut pas bien gérer les données de séries chronologiques. Les séries chronologiques, c'est-à-dire les séries chronologiques, comme leur nom l'indique, font référence à un ensemble de séquences de points de données disposées par ordre temporel. L'analyse des séries chronologiques est essentielle dans de nombreux domaines, notamment la prévision de la propagation des maladies, l'analyse du commerce de détail, la santé et la finance. Dans le domaine de l'analyse des séries chronologiques, de nombreux chercheurs ont récemment étudié comment utiliser les grands modèles linguistiques (LLM) pour classer, prédire et détecter les anomalies dans les séries chronologiques. Ces articles supposent que les modèles de langage capables de gérer les dépendances séquentielles dans le texte peuvent également se généraliser aux séries chronologiques.

Le premier MLLM basé sur Mamba est là ! Les poids des modèles, le code de formation, etc. sont tous open source Le premier MLLM basé sur Mamba est là ! Les poids des modèles, le code de formation, etc. sont tous open source Jul 17, 2024 am 02:46 AM

La colonne AIxiv est une colonne où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com. Introduction Ces dernières années, l'application de grands modèles de langage multimodaux (MLLM) dans divers domaines a connu un succès remarquable. Cependant, en tant que modèle de base pour de nombreuses tâches en aval, le MLLM actuel se compose du célèbre réseau Transformer, qui

See all articles