Table des matières
2. Conception du modèle
3. Formation du modèle
4. Résultats expérimentaux
5.Généralisation des tâches zéro-shot
6. Résumé
Maison Périphériques technologiques IA Un modèle unifié pour la génération d'images contrôlables multimodales est ici, et tous les paramètres du modèle et codes d'inférence sont open source

Un modèle unifié pour la génération d'images contrôlables multimodales est ici, et tous les paramètres du modèle et codes d'inférence sont open source

Jun 06, 2023 pm 05:12 PM
模型 开源

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source


  • Adresse papier : https://arxiv.org /abs/2305.11147
  • Adresse du code : https://github.com/salesforce/UniControl
  • Page d'accueil du projet : https://shorturl.at/lmMX6

#🎜 🎜#Introduction : Stable Diffusion montre de puissantes capacités de génération visuelle. Cependant, ils ne parviennent souvent pas à générer des images avec un contrôle spatial, structurel ou géométrique. Des travaux tels que ControlNet [1] et T2I-adpater [2] permettent de générer des images contrôlables pour différentes modalités, mais être capable de s'adapter à diverses conditions visuelles dans un seul modèle unifié reste un défi non résolu. UniControl intègre une variété de tâches de condition à image (C2I) contrôlables dans un cadre unique. Afin de rendre UniControl capable de gérer diverses conditions visuelles, les auteurs ont introduit un HyperNet sensible aux tâches pour ajuster le modèle de diffusion conditionnelle en aval afin qu'il puisse s'adapter simultanément à différentes tâches C2I. UniControl est formé sur neuf tâches C2I différentes, démontrant de solides capacités de génération visuelle et des capacités de généralisation sans tir. L'auteur a mis en open source les paramètres du modèle et le code d'inférence. L'ensemble de données et le code de formation seront également open source dès que possible. Tout le monde est invité à les échanger et à les utiliser.

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Figure 1 : Modèle UniControl par Composé de plusieurs tâches de pré-entraînement et de tâches zéro-shot

Motivation : Génération d'images contrôlable existante les modèles sont tous conçus pour une seule modalité. Cependant, des travaux tels que Taskonomy [3] prouvent que différentes modalités visuelles partagent des fonctionnalités et des informations. Par conséquent, cet article estime qu'un modèle multimodal unifié a un grand potentiel.

Solution : Cet article propose un adaptateur de style MOE et un HyperNet prenant en charge les tâches pour implémenter des capacités de génération de conditions multimodales dans UniControl. Et l'auteur a créé un nouvel ensemble de données MultiGen-20M, qui contient 9 tâches principales, plus de 20 millions de triples d'invite de condition d'image et une taille d'image ≥ 512.

Avantages : 1) Modèle plus compact (1,4B #params, 5,78 Go de point de contrôle), implémenter plusieurs tâches avec moins de paramètres. 2) Capacités de génération visuelle et précision de contrôle plus puissantes. 3) Capacité de généralisation sans tir sur des modalités jamais vues.

1. Introduction

Les modèles de base génératifs changent les domaines de l'intelligence artificielle dans le traitement du langage naturel, la vision par ordinateur, le traitement audio et le contrôle des robots. .mode d'interaction. Dans le traitement du langage naturel, les modèles de base génératifs comme InstructGPT ou GPT-4 fonctionnent bien sur une variété de tâches, et cette capacité multitâche est l'une des fonctionnalités les plus attrayantes. De plus, ils peuvent effectuer un apprentissage sans tir ou en quelques tirs pour gérer des tâches invisibles.

Cependant, dans les modèles génératifs dans le champ visuel, cette capacité multitâche n'est pas prédominante. Bien que les descriptions textuelles offrent un moyen flexible de contrôler le contenu des images générées, elles ne parviennent souvent pas à fournir un contrôle spatial, structurel ou géométrique au niveau des pixels. Des recherches populaires récentes telles que ControlNet et l'adaptateur T2I peuvent améliorer le modèle de diffusion stable (SDM) pour obtenir un contrôle précis. Cependant, contrairement aux signaux linguistiques, qui peuvent être traités par un module unifié tel que CLIP, chaque modèle ControlNet ne peut traiter que la modalité spécifique sur laquelle il a été formé.

Pour surmonter les limites des travaux antérieurs, cet article propose UniControl, un modèle de diffusion unifié qui peut gérer à la fois le langage et diverses conditions visuelles. La conception unifiée d'UniControl permet une meilleure efficacité de formation et d'inférence ainsi qu'une génération contrôlable améliorée. UniControl, quant à lui, bénéficie des connexions inhérentes entre différentes conditions visuelles pour améliorer les effets génératifs de chaque condition.

La capacité de génération contrôlable unifiée d'UniControl repose sur deux parties, l'une est « l'adaptateur de style MOE » et l'autre est « l'HyperNet sensible aux tâches ». L'adaptateur de style MOE possède environ 70 000 paramètres et peut apprendre des cartes de fonctionnalités de bas niveau à partir de diverses modalités. HyperNet sensible aux tâches peut saisir des instructions de tâche sous forme d'invites en langage naturel et générer des intégrations de tâches à intégrer dans le réseau en aval pour moduler les paramètres en aval. pour s'adapter aux différentes entrées modales.

Cette étude a pré-entraîné UniControl pour obtenir des capacités d'apprentissage multi-tâches et sans tir, comprenant neuf tâches différentes dans cinq catégories : Edge (Canny, HED, Sketch), cartographie de zone (Segmentation, Object Bound) Box), Squelette (squelette humain), géométrie (profondeur, surface normale) et édition d'images (image Outpainting). L'étude a ensuite formé UniControl sur le matériel NVIDIA A100 pendant plus de 5 000 heures GPU (de nouveaux modèles sont encore en cours de formation aujourd'hui). Et UniControl démontre une adaptabilité immédiate aux nouvelles tâches.

La contribution de cette recherche peut être résumée comme suit :

  • Cette recherche propose UniControl, un modèle unifié qui peut gérer diverses conditions visuelles (1,4 B #params, 5,78 Go de point de contrôle) pour générer une vision contrôlable.
  • Cette étude a collecté un nouvel ensemble de données de génération visuelle multi-conditions contenant plus de 20 millions de triples image-texte-condition couvrant neuf tâches différentes dans cinq catégories.
  • Cette étude a mené des expériences pour démontrer que le modèle unifié UniControl surpasse la génération d'images contrôlées par tâche unique grâce à l'apprentissage de la relation intrinsèque entre différentes conditions visuelles.
  • UniControl démontre la capacité de s'adapter à des tâches invisibles de manière zéro, démontrant ainsi ses possibilités et son potentiel d'utilisation généralisée dans des environnements ouverts.

2. Conception du modèle

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Figure 2 : Structure du modèle. Pour s'adapter à plusieurs tâches, l'étude a conçu un adaptateur de type MOE avec environ 70 000 paramètres par tâche et un HyperNet prenant en charge les tâches (environ 12 millions de paramètres) pour moduler 7 couches sans convolution. Cette structure permet la mise en œuvre de fonctions multi-tâches dans un modèle unique, ce qui garantit non seulement la diversité des multi-tâches, mais conserve également le partage des paramètres sous-jacents. Réduction significative de la taille du modèle par rapport aux modèles empilés équivalents à tâche unique (environ 1,4 B de paramètres par modèle).

La conception du modèle UniControl garantit deux propriétés :

1) Surmonter le désalignement entre les fonctionnalités de bas niveau de différentes modalités. Cela aide UniControl à apprendre les informations nécessaires et uniques de toutes les tâches. Par exemple, lorsqu'un modèle s'appuie sur des cartes de segmentation comme condition visuelle, les informations 3D peuvent être ignorées.

2) Capable d'apprendre des méta-connaissances à travers les tâches. Cela permet au modèle de comprendre les connaissances partagées entre les tâches et les différences entre elles.

Pour fournir ces propriétés, le modèle introduit deux nouveaux modules : l'adaptateur de style MOE et l'HyperNet prenant en charge les tâches.

L'adaptateur de style MOE est un ensemble de modules de convolution, chaque adaptateur correspond à une modalité distincte, inspirée du modèle de mélange d'experts (MOE), utilisé comme UniControl pour capturer les caractéristiques de diverses conditions visuelles de bas niveau. Ce module adaptateur possède environ 70 000 paramètres et est extrêmement efficace en termes de calcul. Les caractéristiques visuelles seront ensuite introduites dans un réseau unifié pour traitement.

HyperNet sensible aux tâches ajuste le module de convolution zéro de ControlNet via des conditions d'instruction de tâche. HyperNet projette d’abord les instructions de tâche dans l’intégration de tâches, puis les chercheurs injectent l’intégration de tâches dans la couche zéro convolution de ControlNet. Ici, l'intégration des tâches correspond à la taille de la matrice du noyau de convolution de la couche de convolution nulle. Semblable à StyleGAN [4], cette étude multiplie directement les deux pour moduler les paramètres de convolution, et les paramètres de convolution modulés sont utilisés comme paramètres de convolution finaux. Par conséquent, les paramètres de convolution nulle modulés de chaque tâche sont différents, ce qui garantit l'adaptabilité du modèle à chaque modalité. De plus, tous les poids sont partagés.

3. Formation du modèle

Différent de SDM ou ControlNet, la condition de génération d'image de ces modèles est un indice de langage unique, ou un seul type de condition visuelle comme Canny. UniControl doit gérer une variété de conditions visuelles liées à différentes tâches, ainsi que des signaux verbaux. Par conséquent, l'entrée d'UniControl se compose de quatre parties : le bruit, l'invite de texte, la condition visuelle et les instructions de tâche. Parmi eux, l’instruction des tâches peut être obtenue naturellement selon la modalité de la condition visuelle.

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Avec de telles paires d'entraînement générées, cette étude adopte DDPM [5] pour entraîner le modèle.

4. Résultats expérimentaux

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Figure 6 : Résultats de la comparaison visuelle de l'ensemble de tests. Les données de test proviennent de MSCOCO [6] et Laion [7]

Les résultats de comparaison avec l'officiel ou le ControlNet reproduits dans cette étude sont présentés dans la figure 6. Pour plus de résultats, veuillez vous référer à l'article.

5.Généralisation des tâches zéro-shot

Le modèle teste la capacité du tir zéro dans les deux scénarios suivants :

Généralisation des tâches mixtes : Cette étude considère deux conditions visuelles différentes comme entrée dans UniControl, l'une est une mélange de cartes de segmentation et de squelettes humains, avec des mots-clés spécifiques « arrière-plan » et « premier plan » ajoutés à l'invite de texte. De plus, l'étude réécrit les instructions de tâches hybrides comme un hybride d'instructions permettant de combiner deux tâches, telles que « carte de segmentation et squelette humain en image ».

Nouvelle généralisation des tâches : UniControl est nécessaire pour générer des images contrôlables dans de nouvelles conditions visuelles invisibles. Pour y parvenir, il est crucial d’estimer la pondération des tâches en fonction de la relation entre les tâches pré-entraînées invisibles et vues. Les pondérations des tâches peuvent être estimées en attribuant ou en calculant manuellement des scores de similarité des instructions de tâches dans l'espace d'intégration. Les adaptateurs de type MOE peuvent être assemblés linéairement avec des poids de tâche estimés pour extraire des caractéristiques peu profondes de nouvelles conditions visuelles invisibles.

Les résultats visualisés sont présentés dans la figure 7. Pour plus de résultats, veuillez vous référer à l'article.

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Figure 7 : Résultats de visualisation d'UniControl sur des tâches Zero-shot

6. Résumé

En général, le modèle UniControl, grâce à sa diversité de contrôle, fournit une génération de vision contrôlable fournit un nouveau modèle de base. Un tel modèle pourrait offrir la possibilité d’atteindre des niveaux plus élevés d’autonomie et de contrôle humain sur les tâches de génération d’images. Cette étude a hâte de discuter et de collaborer avec davantage de chercheurs pour promouvoir davantage le développement de ce domaine.

Plus de visuels

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source

Un modèle unifié pour la génération dimages contrôlables multimodales est ici, et tous les paramètres du modèle et codes dinférence sont open source


Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Recommandé : Excellent projet de détection et de reconnaissance des visages open source JS Recommandé : Excellent projet de détection et de reconnaissance des visages open source JS Apr 03, 2024 am 11:55 AM

La technologie de détection et de reconnaissance des visages est déjà une technologie relativement mature et largement utilisée. Actuellement, le langage d'application Internet le plus utilisé est JS. La mise en œuvre de la détection et de la reconnaissance faciale sur le front-end Web présente des avantages et des inconvénients par rapport à la reconnaissance faciale back-end. Les avantages incluent la réduction de l'interaction réseau et de la reconnaissance en temps réel, ce qui réduit considérablement le temps d'attente des utilisateurs et améliore l'expérience utilisateur. Les inconvénients sont les suivants : il est limité par la taille du modèle et la précision est également limitée ; Comment utiliser js pour implémenter la détection de visage sur le web ? Afin de mettre en œuvre la reconnaissance faciale sur le Web, vous devez être familier avec les langages et technologies de programmation associés, tels que JavaScript, HTML, CSS, WebRTC, etc. Dans le même temps, vous devez également maîtriser les technologies pertinentes de vision par ordinateur et d’intelligence artificielle. Il convient de noter qu'en raison de la conception du côté Web

Fraichement publié! Un modèle open source pour générer des images de style anime en un seul clic Fraichement publié! Un modèle open source pour générer des images de style anime en un seul clic Apr 08, 2024 pm 06:01 PM

Permettez-moi de vous présenter le dernier projet open source AIGC-AnimagineXL3.1. Ce projet est la dernière itération du modèle texte-image sur le thème de l'anime, visant à offrir aux utilisateurs une expérience de génération d'images d'anime plus optimisée et plus puissante. Dans AnimagineXL3.1, l'équipe de développement s'est concentrée sur l'optimisation de plusieurs aspects clés pour garantir que le modèle atteigne de nouveaux sommets en termes de performances et de fonctionnalités. Premièrement, ils ont élargi les données d’entraînement pour inclure non seulement les données des personnages du jeu des versions précédentes, mais également les données de nombreuses autres séries animées bien connues dans l’ensemble d’entraînement. Cette décision enrichit la base de connaissances du modèle, lui permettant de mieux comprendre les différents styles et personnages d'anime. AnimagineXL3.1 introduit un nouvel ensemble de balises et d'esthétiques spéciales

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

See all articles