Table des matières
Comment utiliser Alpaca-LoRA pour affiner LLaMA
Projet dérivé Alpaca-LoRA
Maison Périphériques technologiques IA Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Apr 16, 2023 pm 11:43 PM
模型 算力

En 2023, il semble ne rester que deux camps dans le domaine des chatbots : « OpenAI's ChatGPT » et « Others ».

ChatGPT est puissant, mais il est presque impossible pour OpenAI de le rendre open source. L'« autre » camp a obtenu de mauvais résultats, mais de nombreuses personnes travaillent sur l'open source, comme LLaMA, qui a été open source par Meta il y a quelque temps.

LLaMA est le nom général d'une série de modèles, avec des quantités de paramètres allant de 7 milliards à 65 milliards. Parmi eux, le modèle LLaMA à 13 milliards de paramètres peut surpasser GPT-3 avec 175 milliards de paramètres "sur la plupart des benchmarks". Cependant, le modèle n'a pas subi de réglage des instructions (réglage des instructions), donc l'effet de génération est médiocre.

Afin d'améliorer les performances du modèle, des chercheurs de Stanford l'ont aidé à terminer le travail de mise au point des instructions et ont formé un nouveau modèle de 7 milliards de paramètres appelé Alpaca (basé sur LLaMA 7B). Plus précisément, ils ont demandé au modèle text-davinci-003 d'OpenAI de générer 52 000 échantillons suivant les instructions de manière auto-instructive en tant que données d'entraînement pour Alpaca. Les résultats expérimentaux montrent que de nombreux comportements de l'Alpaga sont similaires à ceux de text-davinci-003. En d’autres termes, les performances du modèle léger Alpaca avec seulement 7 paramètres B sont comparables à celles des modèles de langage à très grande échelle tels que GPT-3.5.

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Pour les chercheurs ordinaires, il s'agit d'un moyen réalisable et peu coûteux d'affiner, mais cela nécessite tout de même une grande quantité de calculs (l'auteur a déclaré qu'ils ont affiné pendant 3 heures sur huit A100 de 80 Go). De plus, les tâches de départ d'Alpaca sont toutes en anglais et les données collectées sont également en anglais, le modèle formé n'est donc pas optimisé pour le chinois. ​

Afin de réduire davantage le coût de mise au point, un autre chercheur de Stanford, Eric J. Wang, a utilisé la technologie LoRA (adaptation de bas rang) pour reproduire les résultats d'Alpaga. Plus précisément, Eric J. Wang a utilisé une carte graphique RTX 4090 pour entraîner un modèle équivalent à Alpaca en seulement 5 heures, réduisant ainsi les besoins en puissance de calcul de ces modèles au niveau du consommateur. De plus, le modèle peut fonctionner sur un Raspberry Pi (pour la recherche).

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Principes techniques de LoRA. L'idée de LoRA est d'ajouter un contournement à côté du PLM d'origine et d'effectuer une réduction de dimensionnalité puis une opération de dimensionnalité pour simuler le rang dit intrinsèque. Pendant l'entraînement, les paramètres du PLM sont fixes, et seules la matrice de réduction de dimensionnalité A et la matrice d'amélioration de dimensionnalité B sont entraînées. Les dimensions d'entrée et de sortie du modèle restent inchangées et les paramètres de BA et PLM se superposent lors de la sortie. Initialisez A avec une distribution gaussienne aléatoire et initialisez B avec une matrice 0 pour vous assurer que la matrice de contournement est toujours une matrice 0 au début de la formation (cité de : https://finisky.github.io/lora/). Le plus grand avantage de LoRA est qu’il est plus rapide et utilise moins de mémoire, ce qui lui permet de fonctionner sur du matériel grand public.

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Projet Alpaca-LoRA publié par Eric J. Wang.

Adresse du projet : https://github.com/tloen/alpaca-lora

Pour ceux qui souhaitent former leur propre modèle de type ChatGPT (y compris la version chinoise de ChatGPT-like) mais ne le font pas disposer de ressources informatiques de haut niveau, c'est sans doute une grande surprise pour les chercheurs. Ainsi, après l’avènement du projet Alpaca-LoRA, des tutoriels et des résultats de formation autour du projet ont continué à émerger, et cet article en présentera plusieurs.

Comment utiliser Alpaca-LoRA pour affiner LLaMA

Dans le projet Alpaca-LoRA, les auteurs ont mentionné que afin d'effectuer un réglage fin à moindre coût et efficacement, ils ont utilisé le PEFT de Hugging Face. PEFT est une bibliothèque (LoRA est l'une de ses technologies prises en charge) qui vous permet de prendre divers modèles de langage basés sur Transformer et de les affiner à l'aide de LoRA. L'avantage est qu'il vous permet d'affiner votre modèle à moindre coût et efficacement sur un matériel modeste, avec des sorties plus petites (peut-être composables).

Dans un blog récent, plusieurs chercheurs ont présenté comment utiliser Alpaca-LoRA pour affiner LLaMA.

Avant d'utiliser Alpaca-LoRA, vous devez avoir quelques prérequis. Le premier est le choix du GPU. Grâce à LoRA, vous pouvez désormais effectuer des réglages précis sur des GPU de faible spécification comme les GPU grand public NVIDIA T4 ou 4090. De plus, vous devez également demander des pondérations LLaMA car leurs pondérations ne sont pas publiques.

Maintenant que les prérequis sont remplis, la prochaine étape consiste à savoir comment utiliser Alpaca-LoRA. Vous devez d'abord cloner le référentiel Alpaca-LoRA, le code est le suivant :

git clone https://github.com/daanelson/alpaca-lora
cd alpaca-lora
Copier après la connexion

Deuxièmement, récupérez les poids LLaMA. Stockez les valeurs de poids téléchargées dans un dossier nommé poids non convertis. La hiérarchie des dossiers est la suivante :

unconverted-weights
├── 7B
│ ├── checklist.chk
│ ├── consolidated.00.pth
│ └── params.json
├── tokenizer.model
└── tokenizer_checklist.chk
Copier après la connexion

Une fois les poids stockés, utilisez la commande suivante pour convertir les poids du point de contrôle PyTorch en formats compatibles avec les transformateurs. :

cog run python -m transformers.models.llama.convert_llama_weights_to_hf 
--input_dir unconverted-weights 
--model_size 7B 
--output_dir weights
Copier après la connexion

La structure finale du répertoire devrait être comme ceci :

weights
├── llama-7b
└── tokenizermdki
Copier après la connexion

Après avoir traité les deux étapes ci-dessus, passez à la troisième étape et installez Cog :

sudo curl -o /usr/local/bin/cog -L "https://github.com/replicate/cog/releases/latest/download/cog_$(uname -s)_$(uname -m)"
sudo chmod +x /usr/local/bin/cog
Copier après la connexion

La quatrième étape consiste à affiner le modèle, par défaut, le GPU configuré sur le script finetune est moins puissant, mais si vous disposez d'un GPU plus puissant, vous pouvez augmenter MICRO_BATCH_SIZE dans finetune.py à 32 ou 64. De plus, si vous disposez de directives pour régler un ensemble de données, vous pouvez modifier le DATA_PATH dans finetune.py pour pointer vers votre propre ensemble de données. Il convient de noter que cette opération doit garantir que le format des données est le même que celui de alpaca_data_cleaned.json. Exécutez ensuite le script de réglage fin :

cog run python finetune.py
Copier après la connexion

Le processus de réglage fin a pris 3,5 heures sur un GPU A100 de 40 Go, et plus de temps sur des GPU moins puissants.

La dernière étape consiste à exécuter le modèle avec Cog :

$ cog predict -i prompt="Tell me something about alpacas."
Alpacas are domesticated animals from South America. They are closely related to llamas and guanacos and have a long, dense, woolly fleece that is used to make textiles. They are herd animals and live in small groups in the Andes mountains. They have a wide variety of sounds, including whistles, snorts, and barks. They are intelligent and social animals and can be trained to perform certain tasks.
Copier après la connexion

L'auteur du didacticiel a déclaré qu'après avoir terminé les étapes ci-dessus, vous pouvez continuer à essayer divers gameplays, y compris, mais sans s'y limiter :

  • Apportez votre propre ensemble de données, affinez votre propre LoRA, par exemple en ajustant LLaMA pour le faire parler comme un personnage d'anime. Voir : https://replicate.com/blog/fine-tune-llama-to-speak-like-homer-simpson
  • Déployer le modèle sur la plateforme cloud
  • Combiné avec d'autres LoRA, tels que Stable Diffusion LoRA, appliquez tout cela au champ de l'image ;
  • Utilisez l'ensemble de données Alpaca (ou d'autres ensembles de données) pour affiner les modèles LLaMA plus grands et voir leurs performances. Cela devrait être possible avec PEFT et LoRA, même si cela nécessitera un GPU plus grand.

Projet dérivé Alpaca-LoRA

Bien que les performances d'Alpaca soient comparables à celles de GPT 3.5, ses tâches de départ sont toutes en anglais et les données collectées sont également en anglais, de sorte que le modèle formé n'est pas convivial pour le chinois. Afin d’améliorer l’efficacité du modèle de dialogue en chinois, examinons quelques meilleurs projets.

Le premier est le modèle open source de langue chinoise Luotuo (Luotuo) par trois développeurs individuels de l'Université normale de Chine centrale et d'autres institutions. Ce projet est basé sur LLaMA, Stanford Alpaca, Alpaca LoRA, Japanese-Alpaca-LoRA, etc. ., avec une seule carte. Capable de terminer le déploiement de la formation. Fait intéressant, ils ont nommé le chameau modèle parce que LLaMA (llama) et alpaga (alpaga) appartiennent à l'ordre des Artiodactyla - famille des Camelidae. De ce point de vue, ce nom est également attendu.

Ce modèle est basé sur le open source LLaMA de Meta, en référence aux deux projets Alpaca et Alpaca-LoRA, et a été formé en chinois.

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Adresse du projet : https://github.com/LC1332/Chinese-alpaca-lora

Actuellement, le projet a publié deux modèles : luotuo-lora-7b-0.1 et luotuo-lora- 7b -0.3, il y a un autre modèle dans le plan :

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Ce qui suit est l'affichage de l'effet :

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Mais luotuo-lora-7b-0.1 (0.1), luotuo- lora-7b -0,3 (0,3) Il y a encore un écart. Lorsque l'utilisateur a demandé l'adresse de l'Université normale de Chine centrale, 0,1 a répondu de manière incorrecte :

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

.

En plus des conversations simples, il y a aussi des personnes qui ont réalisé l'optimisation de modèles dans des domaines liés à l'assurance. Selon cet utilisateur de Twitter, avec l'aide du projet Alpaca-LoRA, il a saisi des données de questions et réponses sur l'assurance chinoise, et les résultats finaux ont été bons.

Plus précisément, l'auteur a utilisé plus de 3 000 corpus chinois de questions et réponses d'assurance pour former la version chinoise d'Alpaca LoRa. Le processus de mise en œuvre a utilisé la méthode LoRa et a affiné le modèle Alpaca 7B, ce qui a pris 240 minutes et a abouti à. une perte finale de 0,87.

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Source de l'image : https://twitter.com/nash_su/status/1639273900222586882

Voici le processus et les résultats de la formation :

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Test Les résultats montrent que : 1. Les contenus liés au corpus de formation peuvent recevoir une réponse grossière et raisonnable, mais seulement s'ils ne sont pas absurdes. 2. Les contenus non liés au corpus répondront avec force aux données d'un certain corpus. Le raisonnement logique et les calculs mathématiques n'ont pas cette capacité.

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Après avoir vu ce résultat, les internautes ont crié qu'ils allaient perdre leur emploi :

Entraîner une version chinoise de ChatGPT n'est pas si difficile : vous pouvez le faire avec l'open source Alpaca-LoRA+RTX 4090 sans A100

Enfin, j'attends avec impatience que davantage de modèles de conversation chinois soient ajoutés.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

See all articles