Table des matières
Apprendre Gisting via des masques
Résultats expérimentaux
Efficacité du calcul, de la mémoire et du stockage
Maison Périphériques technologiques IA Compressez 26 jetons en 1 nouvelle méthode pour économiser de l'espace dans la zone de saisie ChatGPT

Compressez 26 jetons en 1 nouvelle méthode pour économiser de l'espace dans la zone de saisie ChatGPT

May 09, 2023 pm 02:10 PM
模型 论文

Avant de saisir le texte, considérez l'invite d'un modèle de langage Transformer (LM) comme ChatGPT :

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Avec des millions d'utilisateurs et de requêtes générées chaque jour, ChatGPT utilise un mécanisme d'auto-attention pour mettre en œuvre des invites. Pour un codage répété, le temps et la complexité de la mémoire augmentent quadratiquement avec la longueur d'entrée. La mise en cache de l'activation du transformateur de l'invite empêche un recalcul partiel, mais cette stratégie entraîne toujours des coûts de mémoire et de stockage importants à mesure que le nombre d'invites mises en cache augmente. À grande échelle, même une petite réduction de la longueur des invites peut entraîner des économies de calcul, de mémoire et de stockage tout en permettant à l'utilisateur d'insérer davantage de contenu dans la fenêtre contextuelle limitée du LM.

Alors. Comment réduire le coût de l'invite ? Une approche typique consiste à affiner ou à distiller le modèle afin qu'il se comporte de manière similaire au modèle d'origine sans invite, éventuellement en utilisant des méthodes adaptatives efficaces en termes de paramètres. Cependant, un inconvénient fondamental de cette approche est que le modèle doit être recyclé à chaque fois pour une nouvelle invite (illustré au milieu de la figure 1 ci-dessous).

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Dans cet article, des chercheurs de l'Université de Stanford ont proposé le modèle Gisting (en bas de la figure 1 ci-dessus), qui compresse les invites arbitraires en un ensemble de jetons virtuels « Gist » plus petits, similaires au préfixe fine. -réglage. Cependant, le réglage fin du préfixe nécessite l'apprentissage du préfixe pour chaque tâche par descente de gradient, tandis que Gisting utilise une méthode de méta-apprentissage pour prédire le préfixe Gist uniquement via des invites sans apprendre le préfixe pour chaque tâche. Cela amortit le coût de l'apprentissage des préfixes par tâche, permettant la généralisation à des instructions inconnues sans formation supplémentaire.

De plus, étant donné que le jeton « Gist » est beaucoup plus court que l'invite complète, Gisting permet à l'invite d'être compressée, mise en cache et réutilisée pour améliorer l'efficacité des calculs. Les chercheurs ont proposé une méthode très simple pour apprendre les instructions essentielles à suivre. Modèle : Simplement affinez la commande, insérez le jeton gish après l'invite, et le masque d'attention modifié empêche le jeton après le jeton essentiel de faire référence au jeton avant le jeton essentiel. Cela permet au modèle d'apprendre simultanément la compression rapide et le suivi des instructions sans frais de formation supplémentaires.

Sur le décodeur uniquement (LLaMA-7B) et l'encodeur-décodeur (FLAN-T5-XXL) LM, gisting atteint une compression instantanée jusqu'à 26x tout en conservant une qualité de sortie similaire à celle du modèle d'origine. Cela se traduit par une réduction de 40 % des FLOP lors de l'inférence, une accélération de la latence de 4,2 % et des coûts de stockage considérablement réduits par rapport aux méthodes traditionnelles de mise en cache rapide.

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Gisting

Les chercheurs décrivent d'abord le gisting dans le contexte du perfectionnement de l'enseignement. Pour l'instruction suivant l'ensemble de données , t représente la tâche codée dans une invite en langage naturel (par exemple traduire ceci en français), x représente l'entrée (facultative) de la tâche (par exemple Le chat) et y représente la sortie souhaitée ( par exemple Le chat). Le but du réglage fin de l'instruction est d'apprendre la distribution pLM(y | t,x) en concaténant t et x, puis en laissant un modèle de langage généralement pré-entraîné prédire de manière autorégressive y. Pendant l'inférence, une nouvelle tâche t et une entrée x peuvent être utilisées pour demander et décoder le modèle afin d'obtenir des résultats de prédiction.

Cependant, ce modèle de connexion t et x présente des inconvénients : le LM basé sur un transformateur a une fenêtre contextuelle limitée, qui est limitée par l'architecture ou la puissance de calcul. Ce dernier point est particulièrement difficile à résoudre car l’attention personnelle évolue quadratiquement avec la longueur d’entrée. Par conséquent, les invites très longues, en particulier celles qui sont réutilisées à plusieurs reprises, sont inefficaces sur le plan informatique. Quelles options sont disponibles pour réduire le coût de l'invite ?

Une approche simple consiste à affiner LM pour une tâche spécifique t, c'est-à-dire qu'à partir d'un ensemble de données

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

contenant des exemples d'entrée/sortie uniquement sous la tâche t, on peut apprendre un

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

spécialisé qui est plus rapide, car il n'y a pas besoin de considérer t.

Des méthodes de réglage précis encore meilleures et efficaces en termes de paramètres, telles que le réglage précis du préfixe/invite ou l'adaptateur, peuvent atteindre le même objectif à un coût bien inférieur à celui du réglage fin à grande échelle. Cependant, un problème demeure : au moins une partie des poids du modèle pour chaque tâche doit être stockée et, plus important encore, pour chaque tâche t, l'ensemble de données de la paire entrée/sortie correspondante D^t doit être collecté et le modèle recyclé.

Gisting est une approche différente qui amortit deux coûts : (1) le coût du temps d'inférence pour conditionner p_LM sur t, (2) le coût du temps de formation pour apprendre un nouveau p^t_LM pour chaque t . L'idée est d'apprendre une version compressée de t G (t) lors du réglage fin, de telle sorte que l'inférence à partir de p_G (y | G (t),x) soit plus rapide qu'à partir de p_LM (y|t,x).

En termes de LM, G (t) sera un ensemble de jetons Gist "virtuels" qui sont moins nombreux que les jetons de t mais induiront toujours un comportement similaire dans LM. Les activations de transformateur (par exemple, les matrices de clé et de valeur) sur G (t) peuvent ensuite être mises en cache et réutilisées pour améliorer l'efficacité du calcul. Surtout, les chercheurs espèrent que G pourra se généraliser à des tâches invisibles : étant donné une nouvelle tâche t, l’activation Gist correspondante G(t) peut être prédite et utilisée sans aucune formation supplémentaire.

Apprendre Gisting via des masques

Le cadre général de Gisting a été décrit ci-dessus, et nous explorerons ensuite une manière très simple d'apprendre un tel modèle : utiliser le LM lui-même comme prédicteur Gist G. Cela exploite non seulement les connaissances préexistantes dans le LM, mais permet également d'apprendre l'essentiel en effectuant simplement un réglage précis des instructions standard et en modifiant le masque d'attention du Transformer pour améliorer la compression rapide. Cela signifie que Gisting n'entraîne pas de frais de formation supplémentaires et doit uniquement être peaufiné sur la base d'instructions standard !

Plus précisément, ajoutez un jeton essentiel spécial au vocabulaire du modèle et à la matrice d'intégration, similaire aux jetons de début/fin de phrase courants dans de tels modèles. Ensuite, pour un tuple donné (tâche, entrée) (t, x), concaténez t et x ensemble en utilisant un ensemble de k jetons essentiels consécutifs dans (t, g_1, . . . , g_k, x), par exemple

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

. Cette séquence est introduite dans le modèle, avec la restriction que les jetons d'entrée suivant le jeton essentiel ne peuvent pas faire référence au jeton d'invite précédent (mais ils peuvent faire référence au jeton essentiel). Cela oblige le modèle à compresser les informations de l'invite en jetons essentiels, car l'entrée x (sortie y) ne peut pas traiter l'invite t.

La figure 2 ci-dessous montre les modifications requises. Pour les LM à décodeur uniquement tels que GPT-3 ou LLaMA, qui utilisent généralement des masques d'attention causale autorégressifs, il suffit de masquer le coin inférieur gauche du triangle illustré à la figure 2a. Pour un codeur-décodeur LM avec un codeur bidirectionnel et un décodeur autorégressif, deux modifications sont nécessaires (illustré sur la figure 2b).

Tout d'abord, dans les encodeurs qui n'ont généralement pas de masques, bloquez le jeton d'entrée x en référence au jeton d'invite t. Mais il faut également éviter que l'invite t et le jeton essentiel g_i fassent référence au jeton d'entrée x, sinon l'encodeur apprendra différentes représentations essentielles en fonction de l'entrée. Enfin, le décodeur fonctionne normalement sauf pendant les périodes d'attention croisée, où il faut empêcher le décodeur de se référer au jeton d'invite t.

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Résultats expérimentaux

Pour différents nombres de jetons essentiels, les résultats d'évaluation ROUGE-L et ChatGPT de LLaMA-7B et FLAN-T5-XXL sont présentés dans la figure 3 ci-dessous.

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Les modèles sont généralement insensibles au nombre k de jetons essentiels : la compression des invites en un seul jeton n'entraîne pas de dégradation significative des performances. En fait, dans certains cas, trop de jetons essentiels nuisent aux performances (par exemple LLaMA-7B, 10 jetons essentiels), peut-être parce que la capacité accrue suradapte à la distribution de formation. Par conséquent, les chercheurs donnent les valeurs spécifiques du modèle à jeton unique dans le tableau 1 ci-dessous et utilisent un modèle essentiel unique dans les expériences restantes.

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Sur les instructions vues, le modèle essentiel a obtenu presque les mêmes performances ROUGE et ChatGPT que son modèle de contrôle positif correspondant, avec des taux de victoire de 48,6 % et 48,6 % respectivement sur LLaMA-7B FLANT5- XXL 50,8%. Ce qui intéresse le plus les chercheurs ici, c'est leur capacité de généralisation sur des tâches invisibles, qui doit être mesurée à l'aide de deux autres ensembles de données.

Dans les invites invisibles de l'ensemble de données d'entraînement Alpaca+, nous pouvons voir que le modèle essentiel a une forte capacité de généralisation sur les invites invisibles : 49,7 % (LLaMA) et 46,2 % respectivement par rapport au groupe témoin (FLAN-T5) gagnant taux. Sur la division OOD Human la plus difficile, le taux de victoire du modèle essentiel chute légèrement à 45,8 % (LLaMA) et 42,5 % (FLANT5).

Le but de cet article est d'avoir un modèle essentiel qui imite fidèlement les fonctionnalités du modèle d'origine, on pourrait donc se demander quand exactement un modèle essentiel est impossible à distinguer d'un groupe témoin. La figure 4 ci-dessous illustre la fréquence à laquelle cela se produit : pour les tâches vues (mais les entrées invisibles), le modèle essentiel est à égalité avec le groupe témoin presque la moitié du temps. Pour les tâches invisibles, ce nombre tombe à 20-25 %. Pour la tâche OOD Human, ce chiffre retombe à 10 %. Quoi qu’il en soit, la qualité de la sortie du modèle essentiel est très élevée.

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Dans l'ensemble, ces résultats montrent que le modèle Gist peut compresser de manière fiable les invites, même sur certaines invites en dehors de la distribution de formation, en particulier comme LLaMA Un tel LM causal uniquement par décodeur. Les modèles d'encodeur-décodeur tels que FLAN-T5 fonctionnent légèrement moins bien. Une raison possible est que le masque essentiel supprime le flux d'attention bidirectionnel dans l'encodeur, ce qui est plus difficile que de simplement masquer une partie de l'historique dans le décodeur autorégressif. Des travaux supplémentaires sont nécessaires pour étudier cette hypothèse à l’avenir.

Efficacité du calcul, de la mémoire et du stockage

Enfin, revenons à l'une des principales motivations de ce travail : quel type d'amélioration de l'efficacité le gisting peut-il apporter ?

Le tableau 2 ci-dessous montre les résultats d'une seule passe avant du modèle (c'est-à-dire une étape de décodage autorégressif à l'aide d'un seul jeton d'entrée) à l'aide du profileur PyTorch 2.0, en moyenne sur les 252 instructions de la valeur de division de l'évaluation humaine. La mise en cache Gist améliore considérablement l'efficacité par rapport aux modèles non optimisés. Des économies de FLOP de 40 % et des réductions de temps d'horloge de 4 à 7 % ont été réalisées pour les deux modèles.

Compressez 26 jetons en 1 nouvelle méthode pour économiser de lespace dans la zone de saisie ChatGPT

Plus important encore, cependant, par rapport au cache d'instructions, le cache Gist présente un avantage clé en plus de la latence : la compression de 26 jetons en 1 libère la fenêtre de contexte d'entrée. Plus d'espace, qui est limité par intégration de position absolue ou GPU VRAM. Surtout pour LLaMA-7B, chaque jeton du cache KV nécessite 1,05 Mo d'espace de stockage. Bien que le cache KV contribue peu à la mémoire totale requise pour l'inférence LLaMA-7B avec les longueurs d'invite testées, un scénario de plus en plus courant consiste pour les développeurs à mettre en cache de nombreuses invites sur un grand nombre d'utilisateurs, et le coût de stockage peut rapidement augmenter. Avec le même espace de stockage, le cache Gist peut gérer 26 fois plus d'invites que le cache d'instructions complet.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

See all articles