L'industrie de l'annotation de la conduite autonome sera-t-elle bouleversée par le modèle mondial en 2024 ?

1. Problèmes rencontrés par l'annotation de données (en particulier basées sur les tâches BEV)

Avec l'essor des tâches basées sur les transformateurs BEV, la dépendance à l'égard des données est devenue de plus en plus lourde. L'annotation devient également de plus en plus importante. . À l'heure actuelle, qu'il s'agisse d'annotation d'obstacles communs 2D-3D, de lignes de voie basées sur des clips de nuages ​​de points reconstruits ou d'annotation de tâches d'occupation, cela reste encore trop cher (par rapport aux tâches d'annotation 2D, c'est beaucoup plus cher). Bien entendu, il existe également dans l’industrie de nombreuses études d’annotations semi-automatiques ou automatisées basées sur de grands modèles. D’un autre côté, le cycle de collecte de données pour la conduite autonome est trop long et implique une série de problèmes de conformité des données. Par exemple, si vous souhaitez collecter une scène où un camion à plateau traverse la caméra, ou une scène où le nombre de voies dans la ville change de plus en moins, ou de moins en plus, vous avez besoin d'un personnel de collecte pour construire spécialement une telle scène. une scène.

Le 2.24 sera-t-il le moment de singularité pour le mannequin mondial ?

Le concept de modèle mondial couvre un large éventail et peut être considéré comme une simulation de capteur. Lors du Tesla AI Day, j’ai été témoin pour la première fois de l’impact perturbateur de la technologie de simulation sur l’annotation des données.

Figure 1 : Effet d'annotation automatisé de TeslaFigure 2 Effet de reconstruction 4D

Quand j'ai vu la nouvelle pour la première fois, j'ai été très surpris, comme si j'avais découvert une fonctionnalité spéciale qui bouleversait la tradition comme les voitures électriques Tesla. Alors que de plus en plus de chercheurs investissent dans ce domaine, nous observons de nombreux excellents résultats de recherche. Le système de simulation de conduite autonome d'UniSim possède des fonctions telles que la relecture, le contrôle dynamique du comportement des objets et le rendu en vue libre. Ces fonctions sont très souhaitables pour tout chercheur de modèles en formation.

Vous pouvez également simuler le lidar.

Pour plus de détails, voir : https://zhuanlan.zhihu.com/p/636695025 Il existe d'autres études similaires dans cette direction.

NeuRAD : rendu neuronal pour la conduite autonome

DrivingGaussian : éclaboussures gaussiennes composites pour les scènes de conduite autonomes dynamiques environnantes La plupart des méthodes ci-dessus sont liées à Nerf, et l'ensemble du pipeline est relativement lourd. Il existe une autre direction, une direction de recherche basée sur la diffusion. De bonnes recherches ont également été effectuées.

BEVControl : contrôle précis des éléments Street-View avec une cohérence multi-perspective via la mise en page d'esquisse BEV

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!