En conduite autonome, la prédiction de trajectoire est généralement située à l'arrière du module de perception, et l'extrémité avant du module de contrôle est un module de connexion. Saisissez les informations d'état et les informations sur la structure routière de la piste cible fournies par le module de perception, prenez en compte de manière exhaustive les informations cartographiques de haute précision, les informations d'interaction entre les cibles, les informations sémantiques de l'environnement et les informations d'intention de la cible, et formulez des intentions pour diverses cibles perçues. . Prédiction (coupure d'entrée/sortie, tout droit) et prédiction de trajectoire pour une période de temps future (allant de 0 à 5 s). Comme indiqué ci-dessous.
Les systèmes ADAS doivent avoir certaines capacités cognitives concernant les informations sur l'environnement environnant. Le niveau le plus élémentaire est de reconnaître l'environnement, le niveau suivant doit comprendre l'environnement et le niveau suivant doit prédire l'environnement. Après avoir prédit la cible, le contrôleur peut planifier la trajectoire du véhicule sur la base des informations prédites et prendre la décision de freiner ou d'émettre des avertissements concernant d'éventuelles situations dangereuses. C'est l'objectif du module de prédiction de trajectoire.
La prédiction de trajectoire peut être divisée en prédiction à court terme et prédiction à long terme.
Il existe deux défis pour la prédiction de trajectoire à long terme :
L'incertitude qui affecte la prévision de trajectoire à long terme provient principalement de trois aspects :
Quatre questions à prendre en compte pour le système de prédiction de trajectoire :
La figure suivante montre la méthode de classification dans l'article de synthèse [2] publié par Bosch.
Quels algorithmes généraux sont spécifiquement impliqués dans la prédiction de trajectoire ?
Alors, quelles informations spécifiques peuvent être utilisées pour la prédiction de trajectoire ?
Il existe de plus en plus d'articles sur la prédiction de trajectoire dans le monde universitaire, la raison principale est qu'il n'existe pas de méthode efficace dans l'industrie.
Les articles suivants sont des articles de l'industrie :
BMW : modèle physique + prédiction d'intention (basée sur l'apprentissage). Utilisez des méthodes heuristiques pour intégrer les connaissances d'experts, simplifier le modèle d'interaction et ajouter des idées de théorie des jeux au modèle de classification de prédiction d'intention [3].
BENZ : Principalement des articles liés à la prédiction d'intention, en utilisant DBN[4].
Uber : LaneRCNN[5].
Google : VectorNet[6].
Huawei : ACCUEIL[7].
Waymo : TNT[8].
Aptive : Covernet[9].
NEC : R2P2[10].
SenseTime : TPNet[11].
Meituan : StarNet[12]. piéton.
Aibee : Sophie[13]. piéton.
MIT : Social lstm[14]. piéton.
Université des sciences et technologies de Chine : STGAT[15]. piéton.
Baidu : Lane-Attention[16].
Apollo : Vous pouvez consulter le blog suivant pour référence.
https://www.cnblogs.com/liuzubing/p/11388485.html
Le module de prédiction d'Apollo reçoit les informations des modules de perception, de positionnement et de cartographie.
1. Premièrement, la scène a été divisée en deux scènes : une route de croisière ordinaire et une intersection.
2. Divisez ensuite l'importance des cibles perçues en cibles qui peuvent être ignorées (n'affecteront pas votre propre voiture), les cibles qui doivent être manipulées avec prudence (peuvent affecter votre propre voiture) et les cibles ordinaires (entre les deux).
3. Entrez ensuite l'évaluateur, qui est essentiellement une prédiction d'intention.
4. Entrez enfin le prédicteur, qui est utilisé pour prédire la génération de trajectoire. Effectuez différentes opérations pour différents scénarios tels que des cibles stationnaires, la conduite sur la route, freeMove et les intersections.
(1) NGSIM
Cet ensemble de données est constitué de données de conduite sur autoroute collectées par la FHWA aux États-Unis, y compris toutes les routes de l'US101, de l'I-80 et d'autres routes L'état de conduite du véhicule pendant une période donnée. Les données sont acquises à l'aide d'une caméra puis traitées un par un en enregistrements de points de trace. Son ensemble de données est un fichier CSV. Les données n'ont pas beaucoup de bruit.
est plus d'informations au niveau global de répartition, telles que la planification des routes, le tracé des voies, l'ajustement de la circulation, etc. L'état cinématique du véhicule doit être extrait davantage. Le code de traitement peut être utilisé sur github ci-dessous.
https://github.com/nachiket92/conv-social-pooling
(2) INTERACTION
Cet ensemble de données a été développé par le Laboratoire de contrôle des systèmes mécaniques (MSC Lab) de l'Université de Californie à Berkeley, et des collaborateurs de l'Institut de technologie de Karlsruhe (KIT) et de l'ensemble de données sexuelles et collaboratives de MINES ParisTech (INTERACTION). Il peut reproduire avec précision un grand nombre de comportements interactifs des usagers de la route (tels que les véhicules et les piétons) dans divers scénarios de conduite dans différents pays.
http://www.interaction-dataset.com/
(3)apolloscape
Il s'agit de l'ensemble de données public de conduite autonome d'Apollo, qui comprend la prédiction de trajectoire. Données fournies . Le fichier interne est une séquence de données d'une minute à 2 images par seconde. La structure des données comprend l'ID du numéro de trame, l'ID de la cible, la catégorie de la cible, la position xyz, les informations sur la longueur, la largeur et la hauteur, ainsi que le cap. , vélos/véhicules électriques et autres.
https://apolloscape.auto/trajectory.html
(4) TRAF
Cet ensemble de données se concentre sur les conditions de circulation à haute densité, ce qui peut aider l'algorithme à mieux se concentrer sur l'analyse du comportement du conducteur humain dans des environnements incertains. Chaque cadre de données contient respectivement environ 13 véhicules à moteur, 5 piétons et 2 vélos
https://gamma.umd.edu/researchdirections/autonomousdriving/ad
Il existe de nombreuses utilisations pour cela dans le lien Projet de prédiction de trajectoire pour l'ensemble de données.
(5) nuScenes
La grande nouvelle arrive. Cet ensemble de données a été proposé en avril 2020. Il a collecté 1 000 scènes de conduite à Boston et à Singapour, deux villes à fort trafic et aux conditions de conduite difficiles. Son ensemble de données contient des articles connexes, vous pouvez y jeter un œil pour mieux comprendre cet ensemble de données.
https://arxiv.org/abs/1903.11027
Il y a des compétitions liées aux pronostics dans cet ensemble de données, vous pouvez les suivre.
https://www.nuscenes.org/prediction?externalData=all&mapData=all&modalities=Any
Les métriques d'évaluation actuellement principalement utilisées sont des métriques géométriques.
Il existe de nombreux indicateurs de mesure géométrique, les principaux utilisés sont ADE, FDE et MR.
ADE est la distance euclidienne normalisée. FDE est la distance euclidienne entre les points de prédiction finaux. MR est le taux d'échec. Il existe de nombreux noms différents. L'essentiel est de définir un seuil. Si la distance euclidienne entre les points prédits est inférieure à cette prédiction, elle sera enregistrée comme une réussite. Si elle est supérieure à ce seuil, elle sera enregistrée comme. un échec. Enfin, un pourcentage sera calculé.
La métrique géométrique est un indicateur important pour mesurer la similarité entre la trajectoire prédite et la trajectoire réelle, et peut bien représenter la précision. Mais aux fins de la prédiction de trajectoire, cela n’a aucun sens de se contenter d’évaluer la précision. Il devrait également y avoir des mesures probabilistes pour évaluer l'incertitude, en particulier pour les distributions de résultats multimodales ; il devrait également y avoir des mesures au niveau des tâches, des mesures de robustesse et des évaluations d'efficacité.
Mesure de probabilité : la divergence KL, la probabilité prédite et la probabilité cumulée peuvent être utilisées comme mesure de probabilité. Par exemple, NLL, NLL basé sur KDE [17]. Métriques au niveau des tâches : évaluer l'impact de la prédiction de trajectoire sur la régulation back-end (piADE, piFDE) [18]. Robustesse : Tenez compte de la longueur ou de la durée de la partie observée de la trajectoire avant la prédiction ; de la taille des données d'entraînement ; de la fréquence d'échantillonnage des données d'entrée et du bruit du capteur ; de la généralisation du surajustement et de l'analyse de l'utilisation des entrées ; l'entrée d'entrée, si elle est garantie de fonctionner normalement et d'autres facteurs. Efficacité : pensez à la puissance de calcul.
Comme le montre la figure ci-dessous, la principale considération de cet article est que, sur la base de la vraie valeur (bleue), les trajectoires violettes et vertes prédites par la voiture cible grise ont les mêmes ADE et FDE si des métriques géométriques sont utilisées, mais différentes méthodes de prédiction ont La planification du véhicule aura un impact, mais il n'existe actuellement aucune mesure de ce type pour évaluer le niveau de tâche, ils ont donc proposé piADE et piFDE pour le faire.
Question 1 : Trois méthodes de prédiction de trajectoire différentes : basées sur le modèle physique, basées sur l'apprentissage, basées sur la planification Où sont leurs scénarios d'application respectifs, et quels sont leurs avantages et. inconvénients ?
Différentes méthodes de modélisation peuvent combiner et exploiter différents types d'informations contextuelles. Toutes les méthodes de modélisation peuvent être étendues en utilisant les indices contextuels et les environnements dynamiques et statiques de la cible. Cependant, différentes méthodes de modélisation présentent différents niveaux de complexité et d'efficacité dans la combinaison de différentes catégories d'informations sémantiques.
1. Méthode basée sur un modèle physique
Scénarios applicables : les cibles, les environnements statiques et les simulations dynamiques peuvent être modélisés par des équations de transfert explicites.
Avantages :
Inconvénients :
De telles lacunes limitent l'utilisation de méthodes physiques à des prévisions à court terme ou à des environnements sans obstacles.
2. Méthode basée sur l'apprentissage
Scénarios applicables : convient aux environnements actuels avec des informations inconnues complexes (telles que les espaces publics avec une sémantique riche), et ces informations peuvent être utilisées pour une plage de prédiction relativement large.
Avantages :
Inconvénients :
3. Méthode basée sur la planification
Scénarios applicables : elle a de bonnes performances dans les scénarios où le point final est déterminé et la carte de l'environnement est disponible.
Avantages :
Inconvénients :
Les méthodes basées sur la planification sont essentiellement sensibles aux cartes et aux obstacles, et sont naturellement étendues à l'aide d'indices sémantiques. En règle générale, ils codent la complexité de la situation dans l’équation objectif/récompense, mais cela peut ne pas intégrer correctement les entrées de ligne dynamiques. Par conséquent, les auteurs ont dû concevoir des modifications spécifiques pour incorporer des entrées dynamiques dans l’algorithme de prédiction (processus de saut de Markov, adaptations locales de la trajectoire prédite, théorie des jeux). Contrairement aux méthodes basées sur l’apprentissage, les entrées cibles peuvent être facilement fusionnées car les processus de planification avant et arrière sont basés sur le même modèle dynamique cible.
Question 2 : Le problème de la prédiction de trajectoire est-il désormais résolu ?
Le besoin de prédiction de trajectoire dépend en grande partie du domaine d'application et des scénarios d'utilisation spécifiques qui y sont associés. On ne peut pas dire que le problème de la prédiction de trajectoire soit résolu à court terme. Prenons l'exemple de l'industrie automobile. Parce qu'il existe des normes et des réglementations spéciales qui définissent la vitesse maximale, les règles de circulation, la vitesse des piétons et la répartition des accélérations, ainsi que les spécifications relatives aux taux d'accélération/décélération confortables du véhicule, elle semble être la plus puissante pour formuler des exigences et proposer des solutions. On peut dire que pour la fonction AEB des voitures intelligentes, la solution a atteint un niveau de performance permettant la production industrielle de produits de consommation, et les cas d'utilisation requis ont été résolus. Comme pour d’autres cas d’utilisation, davantage de standardisation et une articulation claire des exigences seront nécessaires dans un avenir proche. Et il faut encore évoluer pour gagner en robustesse et en stabilité.
Donc, avant de répondre si la prédiction de trajectoire a résolu ce problème, nous devrions au moins fixer la norme.
Actuellement dans le domaine de la robotique
Actuellement dans le domaine de la conduite autonome :
Question 3 : Les techniques d'évaluation actuelles pour mesurer les performances de prédiction de trajectoire sont-elles suffisamment bonnes ?
Il existe actuellement un manque d'approche systématique des algorithmes de prédiction, en particulier pour les méthodes de prédiction de trajectoire qui prennent en compte les entrées contextuelles et prédisent un nombre arbitraire de cibles.
La plupart des auteurs n'utilisent désormais que les métriques géométriques (AED, FDE) comme indicateur pour mesurer la qualité d'un algorithme. Cependant, pour les prévisions à long terme, les prévisions sont souvent multimodales et associées à une incertitude, et l'évaluation des performances de ces méthodes doit utiliser des mesures qui en tiennent compte, telles que le log de vraisemblance négative ou le logarithme obtenu à partir de la perte KLD.
Il existe également un besoin de mesures probabilistes qui reflètent mieux le caractère aléatoire du mouvement humain et l'incertitude impliquée dans les imperfections de perception.
Il existe également une évaluation de la robustesse, qui doit prendre en compte la stabilité du système lorsque des erreurs de détection, des défauts de suivi, une incertitude d'auto-positionnement ou des changements de carte se produisent du côté de la détection.
Dans le même temps, bien que les ensembles de données actuellement utilisés contiennent des scénarios très complets, ces ensembles de données sont généralement annotés de manière semi-automatique et ne peuvent donc fournir que des estimations de valeurs réelles incomplètes et bruitées. De plus, la longueur de la trajectoire est souvent insuffisante dans certains domaines d’application où des prévisions à long terme sont nécessaires. Enfin, l’interaction entre les cibles dans l’ensemble de données est généralement limitée. Par exemple, dans un environnement clairsemé, il est difficile pour les cibles de s’influencer mutuellement.
Pour résumer : afin d'évaluer la qualité des prédictions, les chercheurs doivent choisir des ensembles de données plus complexes (incluant des obstacles non convexes, des trajectoires longues et des interactions complexes) et des métriques complètes (géométrie + probabilité). Une meilleure méthode consiste à définir différentes exigences de précision en fonction de différents temps de prédiction, de différentes périodes d'observation et de différentes complexités de scène. Et il devrait y avoir une évaluation de la robustesse et une évaluation en temps réel. De plus, il devrait y avoir des indicateurs pertinents permettant de mesurer l'impact des systèmes ADAS sur le backend [18] et des indicateurs mesurant la sensibilité aux scénarios dangereux [1].
vient de la discussion dans [2], cité ici.
La tendance actuelle est d'utiliser des méthodes plus complexes pour surpasser la méthode d'utilisation d'un modèle unique + KF
Direction :
Pour résumer : pour faire simple, les informations contextuelles doivent être utilisées plus en profondeur, il est préférable d'avoir différents modèles de comportement pour différents objectifs, une théorie des jeux, une prédiction d'intention plus robuste basée sur plus d'informations et une inférence automatique de le point final, les problèmes de généralisation à de nouveaux environnements, de robustesse et d’intégrabilité.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!