Table des matières
Table des matières
MQ-Det : un grand modèle de détection d'objets en monde ouvert pour les requêtes multimodales
1.1 De la requête textuelle à la requête multi-modalité
1.2 Architecture de modèle de requête multimodale plug-and-play MQ-Det
1.3 Stratégie de formation efficace MQ-Det
1.4 Résultats expérimentaux : évaluation sans réglage fin
1.5 Résultats expérimentaux : évaluation de quelques tirs
1.6 La perspective d'une détection de cible de requête multimodale
Maison Périphériques technologiques IA Regardons des photos de grands modèles plus efficacement que de taper ! Une nouvelle recherche dans NeurIPS 2023 propose une méthode de requête multimodale, augmentant la précision de 7,8 %

Regardons des photos de grands modèles plus efficacement que de taper ! Une nouvelle recherche dans NeurIPS 2023 propose une méthode de requête multimodale, augmentant la précision de 7,8 %

Oct 23, 2023 am 11:45 AM
技术 模型

La capacité à « reconnaître les images » des grands modèles est si forte, pourquoi recherchent-ils toujours les mauvaises choses ?

Par exemple, confondre des chauves-souris avec des chauves-souris qui ne se ressemblent pas, ou ne pas reconnaître des poissons rares dans certains ensembles de données...

En effet, lorsque nous demandons à de grands modèles de "trouver des choses", nous saisissons souvent The is le texte.

Si la description est ambiguë ou trop biaisée, comme « chauve-souris » (chauve-souris ou chauve-souris ?) ou « diable » (Cyprinodon diabolis) , l'IA sera grandement confuse.

Cela conduit au fait que lors de l'utilisation de grands modèles pour effectuer des détection de cibles, en particulier en monde ouvert (scènes inconnues)tâches de détection de cibles, les résultats ne sont souvent pas aussi bons que prévu.

Maintenant, un article inclus dans NeurIPS 2023 résout enfin ce problème.

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

L'article propose une méthode de détection de cible basée sur une requête multimodaleMQ-Det En ajoutant simplement un exemple d'image à l'entrée, la précision de la recherche d'éléments dans un grand modèle peut être considérablement améliorée.

Sur l'ensemble de données de détection de référence LVIS, sans avoir besoin d'un réglage fin du modèle de tâche en aval, MQ-Detaméliore en moyenne la précision du grand modèle de détection grand public GLIP d'environ 7,8% sur 13 référence. petit échantillon de tâches en aval, l'amélioration moyenne est de 6,3%Précision.

Comment cela se fait-il ? Jetons un coup d'oeil.

Le contenu suivant est reproduit par l'auteur de l'article et blogueur Zhihu @沁园夏 :

Table des matières

  • MQ-Det : Un grand modèle de détection de cible en monde ouvert pour les requêtes multimodales
  • 1.1 De la requête textuelle à la requête multimodale avec état
  • 1.2 Architecture de modèle de requête multimodale plug-and-play MQ-Det
  • 1.3 Stratégie de formation efficace MQ-Det
  • 1.4 Résultats expérimentaux : évaluation sans réglage fin
  • 1.5 Expérimental résultats : évaluation en quelques étapes
  • 1.6 Les perspectives de la détection d'objets de requête multimodale

MQ-Det : un grand modèle de détection d'objets en monde ouvert pour les requêtes multimodales

Nom de l'article :Requête multimodale Détection d'objets dans la nature

Lien papier : https://www.php.cn/link/9c6947bd95ae487c81d4e19d3ed8cd6f

Adresse du code : https://www.php.cn/link/2307ac1cfee5db3a 5402aac9db25cc5d

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

1.1 De la requête textuelle à la requête multi-modalité

Une image vaut mille mots : Avec l'essor de la pré-formation image et texte, avec la sémantique ouverte du texte, la détection de cible entre progressivement en scène de perception du monde ouvert. À cette fin, de nombreux grands modèles de détection suivent le modèle de requête textuelle, qui utilise des descriptions textuelles catégorielles pour interroger des cibles potentielles dans les images cibles. Cependant, cette approche se heurte souvent au problème d’être « large mais imprécise ».

Par exemple, (1) objet à grain fin (espèces de poissons) détection sur la figure 1, il est souvent difficile de décrire diverses espèces de poissons à grain fin avec un texte limité, (2) ambiguïté de catégorie ("chauve-souris" les deux Il peut faire référence à la fois à une batte et à une raquette).

Cependant, les problèmes ci-dessus peuvent être résolus grâce à des exemples d'images. Par rapport au texte, les images peuvent fournir des indices de fonctionnalités plus riches de l'objet cible, mais en même temps, le texte a également une généralisation puissante.

Ainsi, comment combiner organiquement les deux méthodes de requête est devenu une idée naturelle.

Difficulté à obtenir des capacités de requête multimodale : Comment obtenir un tel modèle avec une requête multimodale, il y a trois défis : (1) Un réglage fin direct avec des exemples d'images limités peut facilement conduire à un oubli catastrophique (2) ; ) ) Former un grand modèle de détection à partir de zéro aura une meilleure généralisation mais consommera beaucoup d'argent. Par exemple, former GLIP sur une seule carte nécessite 30 millions de volumes de données pour être formés pendant 480 jours.

Détection de cibles de requêtes multimodales : Sur la base des considérations ci-dessus, l'auteur propose une stratégie de conception et de formation de modèle simple et efficace - MQ-Det.

MQ-Det insère un petit nombre de modules de perception fermée (GCP) sur la base du modèle de détection de requêtes de grand texte gelé existant pour recevoir les entrées d'exemples visuels. En même temps, il conçoit une prédiction de langage de masque de condition visuelle. stratégie de formation pour obtenir efficacement un détecteur A élevé pour les requêtes multimodales performantes.

1.2 Architecture de modèle de requête multimodale plug-and-play MQ-Det

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

△Figure 1 Schéma d'architecture de la méthode MQ-Det

Module de détection fermée

Comme le montre la figure 1, l'auteur a Le texte L'extrémité de l'encodeur du grand modèle de détection de requête de texte gelé est insérée dans le module de perception fermée (GCP) couche par couche. Le mode de fonctionnement de GCP peut être succinctement exprimé par la formule suivante :

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

Pour le i-ième. catégorie, entrée L'exemple visuel Vi effectue d'abord une attention croisée (X-MHA) avec l'image cible I pour obtenir 让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8% pour améliorer sa capacité de représentation, puis chaque texte de catégorie ti effectuera une attention croisée avec l'exemple visuel 让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8% du correspondant catégorie à obtenir 让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%, puis fusionnez le texte original ti et le texte visuellement augmenté 让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8% via un module de gate pour obtenir la sortie de la couche actuelle 让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%. Une conception aussi simple suit trois principes : (1) évolutivité des catégories ; (2) complétion sémantique (3) anti-oubli. Pour une discussion détaillée, voir le texte original.

1.3 Stratégie de formation efficace MQ-Det

Formation de modulation basée sur un détecteur de requêtes linguistiques gelées

Étant donné que le grand modèle actuel de détection pré-entraînée des requêtes de texte lui-même a une bonne généralisation, l'auteur de l'article estime qu'il suffit de faire légers ajustements avec des détails visuels basés sur les caractéristiques du texte original.

Il y a également une démonstration expérimentale spécifique dans l'article qui a révélé qu'un réglage fin après l'ouverture des paramètres du modèle pré-entraîné d'origine peut facilement conduire au problème d'un oubli catastrophique et fait perdre à la place la capacité de détecter le monde ouvert.

Ainsi, MQ-Det peut insérer efficacement des informations visuelles dans le détecteur de requêtes textuelles existantes en modulant uniquement le module GCP entraîné basé sur le détecteur pré-entraîné de requêtes textuelles figées.

Dans l'article, l'auteur applique la conception structurelle et la technologie de formation de MQ-Det aux modèles SOTA actuels GLIP et GroundingDINO respectivement pour vérifier la polyvalence de la méthode.

Stratégie d'entraînement à la prédiction du langage masqué conditionnée par la vision

L'auteur a également proposé une stratégie d'entraînement à la prédiction du langage masqué conditionnée par la vision pour résoudre le problème de l'inertie d'apprentissage causée par le gel du modèle pré-entraîné.

La soi-disant inertie d'apprentissage signifie que le détecteur a tendance à conserver les fonctionnalités de la requête textuelle d'origine pendant le processus de formation, ignorant ainsi les fonctionnalités de requête visuelle nouvellement ajoutées.

À cette fin, MQ-Det remplace aléatoirement les jetons de texte par des jetons [MASK] pendant la formation, obligeant le modèle à apprendre du côté de la fonctionnalité de requête visuelle, c'est-à-dire :

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

Cette stratégie est simple, mais très efficace. Les résultats expérimentaux montrent que cette stratégie apporte des améliorations significatives des performances.

1.4 Résultats expérimentaux : évaluation sans réglage fin

Sans réglage fin : par rapport à l'évaluation traditionnelle zero-shot (zero-shot) qui utilise uniquement le texte de catégorie pour les tests, MQ-Det propose une stratégie d'évaluation plus réaliste : sans réglage fin. Il est défini comme suit : sans aucun réglage fin en aval, les utilisateurs peuvent utiliser du texte de catégorie, des exemples d'images ou une combinaison des deux pour effectuer la détection d'objets.

Dans le cadre du paramètre sans réglage fin, MQ-Det sélectionne 5 exemples visuels pour chaque catégorie et combine le texte de la catégorie pour la détection de cible. Cependant, d'autres modèles existants ne prennent pas en charge les requêtes visuelles et ne peuvent utiliser que des descriptions en texte brut. Le tableau ci-dessous montre les résultats de détection sur LVIS MiniVal et LVIS v1.0. On peut constater que l’introduction de requêtes multimodales améliore considérablement la capacité de détection de cibles dans le monde ouvert.

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

△Tableau 1 Les performances sans réglage fin de chaque modèle de détection dans le cadre de l'ensemble de données de référence LVIS

Comme le montre le tableau 1, MQ-GLIP-L a augmenté l'AP de plus de 7 % sur la base de GLIP-L , et l'effet est très bon !

1.5 Résultats expérimentaux : évaluation de quelques tirs

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

△Tableau 2 Performances de chaque modèle dans 35 tâches de détection ODinW-35 et ses 13 sous-ensembles ODinW-13

L'auteur a également effectué 35 tâches de détection en aval Des expériences complètes ont été menée à ODinW-35. Comme le montre le tableau 2, en plus de ses puissantes performances sans réglage fin, MQ-Det possède également de bonnes capacités de détection de petits échantillons, ce qui confirme encore le potentiel des requêtes multimodales. La figure 2 montre également l'amélioration significative de MQ-Det sur GLIP.

让大模型看图比打字管用!NeurIPS 2023新研究提出多模态查询方法,准确率提升7.8%

△Figure 2 Comparaison de l'efficacité de l'utilisation des données ; axe horizontal : nombre d'échantillons d'entraînement, axe vertical : AP moyen sur OdinW-13

1.6 La perspective d'une détection de cible de requête multimodale

la détection de cible en tant que méthode pratique application Il s'agit d'un domaine de recherche fondamental et attache une grande importance à la mise en œuvre d'algorithmes.

Bien que les précédents modèles de détection de cibles de requêtes en texte brut aient montré une bonne généralisation, il est difficile pour le texte de couvrir des informations fines dans la détection réelle du monde ouvert, et la riche granularité des informations dans les images complète parfaitement cela.

Jusqu'à présent, nous pouvons constater que le texte est général mais pas précis, et les images sont précises mais pas générales. Si nous pouvons combiner efficacement les deux, c'est-à-dire une requête multimodale, cela fera avancer la détection de cibles dans le monde ouvert.

MQ-Det a franchi la première étape dans les requêtes multimodales, et son amélioration significative des performances montre également l'énorme potentiel de la détection de cibles de requêtes multimodales.

Dans le même temps, l'introduction de descriptions textuelles et d'exemples visuels offre aux utilisateurs plus de choix, rendant la détection de cible plus flexible et conviviale.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Apr 29, 2024 pm 04:55 PM

Le FP8 et la précision de quantification inférieure en virgule flottante ne sont plus le « brevet » du H100 ! Lao Huang voulait que tout le monde utilise INT8/INT4, et l'équipe Microsoft DeepSpeed ​​​​a commencé à exécuter FP6 sur A100 sans le soutien officiel de NVIDIA. Les résultats des tests montrent que la quantification FP6 de la nouvelle méthode TC-FPx sur A100 est proche ou parfois plus rapide que celle de INT4, et a une précision supérieure à celle de cette dernière. En plus de cela, il existe également une prise en charge de bout en bout des grands modèles, qui ont été open source et intégrés dans des cadres d'inférence d'apprentissage profond tels que DeepSpeed. Ce résultat a également un effet immédiat sur l'accélération des grands modèles : dans ce cadre, en utilisant une seule carte pour exécuter Llama, le débit est 2,65 fois supérieur à celui des cartes doubles. un

See all articles