Un article expliquant en détail la technologie de test du système de perception de conduite intelligente

​Avant-propos

Avec les progrès de l'intelligence artificielle et de ses technologies logicielles et matérielles, la conduite autonome s'est développée rapidement ces dernières années. Les systèmes de conduite autonome ont été utilisés dans les systèmes d’aide à la conduite de véhicules civils, les robots logistiques autonomes, les drones et d’autres domaines. Le composant de perception est au cœur du système de conduite autonome, qui permet au véhicule d'analyser et de comprendre les informations sur l'environnement de circulation interne et externe. Cependant, comme d’autres systèmes logiciels, les systèmes de perception de la conduite autonome souffrent de failles logicielles. De plus, le système de conduite autonome fonctionne dans des scénarios critiques pour la sécurité et ses défauts logiciels peuvent avoir des conséquences catastrophiques. Ces dernières années, de nombreux décès et blessures ont été causés par des défauts des systèmes de conduite autonome. La technologie de test des systèmes de conduite autonome a reçu une large attention de la part du monde universitaire et de l’industrie. Les entreprises et les instituts de recherche ont proposé une série de technologies et d'environnements, notamment des essais de simulation virtuelle, des essais routiers réels et des essais combinés virtuels et réels. Cependant, en raison de la particularité des types de données d’entrée et de la diversité des environnements de fonctionnement des systèmes de conduite autonome, la mise en œuvre de ce type de technologie de test nécessite des ressources excessives et comporte des risques plus importants. Cet article analyse brièvement l'état actuel de la recherche et de l'application des méthodes de test des systèmes de perception de la conduite autonome.

1 Test des systèmes de perception de la conduite autonome

L'assurance qualité des systèmes de perception de la conduite autonome devient de plus en plus importante. Le système de perception doit aider les véhicules à analyser et à comprendre automatiquement les informations sur l'état des routes. Sa composition est très complexe et il est nécessaire de tester pleinement la fiabilité et la sécurité du système testé dans de nombreux scénarios de circulation. Les tests actuels de perception de la conduite autonome sont principalement divisés en trois catégories. Quel que soit le type de méthode de test, elle présente une caractéristique importante qui diffère des tests traditionnels, à savoir une forte dépendance à l'égard des données de test.

Le premier type de tests est principalement basé sur la théorie du génie logiciel et les méthodes formelles, etc., et prend le mécanisme de structure du modèle de la mise en œuvre du système de perception comme point d'entrée. Cette méthode de test est basée sur une compréhension de haut niveau du mécanisme de fonctionnement et des caractéristiques du système de perception de la conduite autonome. Le but de ce test logique du système de perception biaisé est de découvrir les défauts de conception du module de perception dans les premières étapes du développement du système afin de garantir l'efficacité de l'algorithme du modèle dans les premières itérations du système. Sur la base des caractéristiques du modèle d'algorithme de conduite autonome, les chercheurs ont proposé une série de génération de données de test, d'indicateurs de vérification des tests, de méthodes et de technologies d'évaluation des tests.

Le deuxième type de méthode de simulation virtuelle de test utilise des ordinateurs pour extraire le système de trafic réel afin d'effectuer des tâches de test, y compris des tests de système dans un environnement virtuel prédéfini ou des tests indépendants pour les composants de perception. L'effet des tests de simulation virtuelle dépend de la réalité de l'environnement virtuel, de la qualité des données de test et de la technologie spécifique d'exécution des tests. Il est nécessaire de prendre pleinement en compte l'efficacité de la méthode de construction de l'environnement de simulation, de l'évaluation de la qualité des données et de la technologie de vérification des tests. Les modèles de perception de l'environnement de conduite autonome et d'analyse de scène s'appuient sur des données de scène de trafic efficaces à grande échelle pour la formation et la vérification des tests. Des chercheurs nationaux et étrangers ont mené de nombreuses recherches sur les scènes de circulation et leur technologie de génération de structures de données. Utilisez des méthodes telles que la mutation de données, la génération de moteurs de simulation et le rendu de modèles de jeu pour construire des données de scènes de test virtuelles afin d'obtenir des données de test de haute qualité, et utilisez différentes données de test générées pour les modèles de conduite autonome et l'amplification et l'amélioration des données. Les scénarios de test et la génération de données sont des technologies clés. Les cas de test doivent être suffisamment riches pour couvrir l’espace d’état de l’échantillon de test. Des échantillons de test doivent être générés dans des conditions de trafic extrêmes pour tester la sécurité du modèle de sortie de décision du système dans ces cas d'utilisation limites. Les tests virtuels combinent souvent les théories et technologies de test existantes pour construire des méthodes efficaces d'évaluation et de vérification des effets des tests.

La troisième catégorie concerne les essais sur route de véhicules réels équipés de systèmes de perception de conduite autonome, y compris des essais en scène fermée prédéfinis et des essais sur l'état réel de la route. L’avantage de ce type de test est que tester dans un environnement réel peut garantir pleinement la validité des résultats. Cependant, ce type de méthode présente des difficultés telles que des scénarios de test difficiles à répondre à divers besoins, la difficulté d'obtenir des échantillons de données de scène de trafic pertinents, le coût élevé de l'annotation manuelle des données réelles de collecte de routes, une qualité d'annotation inégale, des exigences excessives en matière de kilométrage de test et cycle de collecte de données trop long, etc. La conduite manuelle dans des scénarios dangereux comporte des risques pour la sécurité, et il est difficile pour les testeurs de résoudre ces problèmes dans le monde réel. Dans le même temps, les données sur les scènes de trafic souffrent également de problèmes tels qu'une source de données unique et une diversité de données insuffisante, ce qui est insuffisant pour répondre aux exigences de test et de vérification des chercheurs en conduite autonome en génie logiciel. Malgré cela, les essais sur route constituent un élément indispensable des essais automobiles traditionnels et sont extrêmement importants dans les tests de perception de la conduite autonome.

Du point de vue des types de tests, les tests du système de perception ont différents contenus de test pour le cycle de vie du développement du véhicule. Les tests de conduite autonome peuvent être divisés en tests de modèle dans la boucle (MiL), tests de logiciel dans la boucle (SiL), tests de matériel dans la boucle (HiL) et tests de véhicule dans la boucle. (ViL), etc. Cet article se concentre sur les parties liées à SiL et HiL du test du système de perception de la conduite autonome. HiL comprend des dispositifs matériels de perception, tels que des caméras, des lidars et des modules de perception des interactions homme-machine. SiL utilise une simulation logicielle pour remplacer les données générées par le matériel réel. Le but des deux tests est de vérifier la fonctionnalité, les performances, la robustesse et la fiabilité du système de conduite autonome. Pour des objets de test spécifiques, différents types de tests sont combinés avec différentes technologies de test à chaque étape de développement du système de perception pour compléter les exigences de vérification correspondantes. Les informations actuelles sur la perception de la conduite autonome proviennent principalement de l’analyse de plusieurs types de données principales, notamment les systèmes d’image (caméra), de nuage de points (lidar) et de perception par fusion. Cet article analyse principalement les tests de perception de ces trois types de données.

2 Test du système d'images de conduite autonome

Les images collectées par plusieurs types de caméras sont l'un des types de données d'entrée les plus importants pour la perception de la conduite autonome. Les données d'image peuvent fournir des informations environnementales en vue de face, en vue panoramique, en vue arrière et en vue latérale lorsque le véhicule est en marche, et aider le système de conduite autonome à réaliser des fonctions telles que la télémétrie sur route, la reconnaissance et le suivi de cibles et l'analyse automatique des changements de voie. . Les données d'image se présentent sous différents formats, tels que les images RVB, les images sémantiques, les images de profondeur, etc. Ces formats d'image ont leurs propres caractéristiques. Par exemple, les images RVB ont des informations de couleur plus riches, les images de profondeur de champ contiennent plus d'informations sur la profondeur de la scène et les images sémantiques sont obtenues sur la base d'une classification des pixels, ce qui est plus avantageux pour les tâches de détection et de suivi de cibles. .

Les tests du système de perception de la conduite autonome basés sur l'image s'appuient sur des images de scènes de trafic efficaces à grande échelle pour la formation et la vérification des tests. Cependant, le coût de l'étiquetage manuel des données réelles de collecte de routes est élevé, le cycle de collecte de données est trop long, les lois et réglementations relatives à la conduite manuelle dans les scènes dangereuses sont incomplètes et la qualité de l'étiquetage est inégale. Dans le même temps, les données sur les scènes de trafic sont également affectées par des facteurs tels qu'une source de données unique et une diversité de données insuffisante, ce qui est insuffisant pour répondre aux exigences de test et de vérification de la recherche sur la conduite autonome.

Des chercheurs nationaux et étrangers ont mené de nombreuses recherches sur la technologie de construction et de génération de données de scènes de trafic, en utilisant des méthodes telles que la mutation de données, le réseau de génération contradictoire, la génération de moteurs de simulation et le rendu de modèles de jeu pour construire des données de scènes de test virtuelles, obtenant ainsi des données de test de haute qualité, utilisant différentes données de test générées pour les modèles de conduite autonome et l'augmentation des données. L’utilisation de transformations d’images codées en dur pour générer des images de test est une méthode efficace. Une variété de transformations mathématiques et de techniques de traitement d'image peuvent être utilisées pour muter l'image originale afin de tester le comportement erroné potentiel du système de conduite autonome dans différentes conditions environnementales.

Zhang et al. ont utilisé une méthode basée sur un réseau génératif contradictoire pour la transformation du style d'image afin de simuler des scènes de conduite de véhicules dans des conditions environnementales spécifiées. Certaines études effectuent des tests de conduite autonome dans des environnements virtuels, en utilisant des modèles 3D à partir de modèles de simulation physique pour construire des scènes de circulation et les restituer en images 2D comme entrée dans le système de perception. Des images de test peuvent également être générées par synthèse, en échantillonnant un contenu modifiable dans le sous-espace d'images de faible dimension et en effectuant une synthèse d'image. Par rapport à la mutation directe d'images, la scène synthétique est plus riche et l'opération de perturbation d'image est plus libre. Fremont et al. ont utilisé le langage de programmation spécifique au domaine de conduite autonome Scenic pour pré-concevoir des scénarios de test, ont utilisé une interface de moteur de jeu pour générer des images de scènes de trafic spécifiques et ont utilisé les images rendues pour la formation et la vérification sur le modèle de détection de cible.

Pei et al. ont utilisé l'idée de tests différentiels pour trouver des résultats incohérents du modèle de conduite autonome. Ils ont également proposé d'utiliser la couverture neuronale, c'est-à-dire la proportion de neurones dans le réseau neuronal qui dépasse un préréglage. seuil d'activation donné, pour mesurer la performance de l'efficacité de l'échantillon testé. Sur la base de la couverture neuronale, les chercheurs ont également proposé de nombreux nouveaux concepts de couverture de tests, tels que la couverture des limites neuronales, la couverture neuronale forte, la couverture neuronale hiérarchique, etc. En outre, l'utilisation d'une technologie de recherche heuristique pour trouver des cas de test cibles est également une méthode efficace. La principale difficulté réside dans la conception d'indicateurs d'évaluation des tests pour guider la recherche. Il existe des problèmes courants lors des tests des systèmes d’imagerie de conduite autonome, tels que le manque de données étiquetées pour des scénarios de conduite spéciaux. Cette équipe a proposé une méthode adaptative de sélection de cas de test de réseau neuronal profond ATS, inspirée par l'idée de tests aléatoires adaptatifs dans le domaine des tests logiciels, pour résoudre le coût élevé des ressources humaines de l'étiquetage des données de test de réseau neuronal profond dans la perception de la conduite autonome. système.

3 Test du système Lidar de conduite autonome

Le Lidar est un capteur crucial pour le système de conduite autonome. Il peut mesurer la distance de propagation entre l'émetteur du capteur et l'objet cible, et analyser la taille de l'énergie réfléchie et la réflexion sur la surface. de l'objet cible. Informations telles que l'amplitude, la fréquence et la phase du spectre d'onde. Les données de nuage de points collectées représentent avec précision l'échelle tridimensionnelle et les informations sur l'intensité de réflexion de divers objets dans la scène de conduite, ce qui peut compenser le manque de forme et de précision des données de la caméra. Le Lidar joue un rôle important dans des tâches telles que la détection de cibles de conduite autonome et la cartographie de positionnement, et ne peut être remplacé par la seule vision unique.

En tant que système logiciel intelligent complexe typique, la conduite autonome prend en entrée les informations sur l'environnement capturées par le lidar et effectue des jugements via le modèle d'intelligence artificielle dans le module de perception, après la planification et le contrôle du système, elle effectue diverses tâches de conduite. Bien que la grande complexité du modèle d'intelligence artificielle confère au système de conduite autonome la capacité de perception, la technologie de test traditionnelle existante repose sur la collecte et l'annotation manuelles de données de nuages ​​de points, ce qui est coûteux et inefficace. D'un autre côté, les données des nuages ​​de points sont désordonnées, manquent d'informations de couleur évidentes, sont facilement perturbées par les facteurs météorologiques et le signal est facilement atténué, ce qui rend la diversité des données des nuages ​​de points particulièrement importante pendant le processus de test.

Les tests de systèmes de conduite autonome basés sur le lidar en sont encore à leurs balbutiements. Les tests de conduite réels et les tests de simulation présentent des problèmes tels qu'un coût élevé, une faible efficacité des tests et une adéquation des tests non garantie. Compte tenu des problèmes rencontrés par les systèmes de conduite autonome, tels que les scénarios de test variables, les systèmes logiciels volumineux et complexes et les coûts de test énormes, être capable de proposer une technologie de génération de données de test basée sur la connaissance du domaine revêt une grande importance pour la garantie des systèmes de conduite autonome. .

En termes de génération de données de nuages ​​de points radar, Sallab et al. Yue et al. ont proposé un cadre de génération de données de nuages ​​de points pour les scènes de conduite autonome. Ce cadre mute avec précision les données de nuages ​​de points dans la scène de jeu en fonction d'objets annotés pour obtenir de nouvelles données. La mutation qu'ils ont obtenue en utilisant cette méthode a recyclé les données du nuage de points. module de traitement des données du système de conduite autonome et obtenu de meilleures améliorations de précision.

Cette équipe a conçu et mis en œuvre un outil de test automatisé lidar LiRTest, qui est principalement utilisé pour les tests automatisés des systèmes de détection de cibles de véhicules autonomes, et peut être recyclé davantage pour améliorer la robustesse du système. LiRTest conçoit d'abord des modèles physiques et géométriques par des experts du domaine, puis construit des opérateurs de transformation basés sur les modèles. Les développeurs sélectionnent des graines de nuages ​​de points à partir de données réelles, utilisent des unités de traitement de nuages ​​de points pour les identifier et les traiter, et mettent en œuvre des algorithmes de mutation basés sur des opérateurs de transformation pour générer des tests qui évaluent la robustesse des modèles de détection de cibles 3D de conduite autonome. Enfin, LiRTest obtient le rapport de test et donne un retour sur la conception de l'opérateur, améliorant ainsi la qualité de manière itérative.

Le système de conduite autonome est un système typique de fusion information-physique. Son état de fonctionnement n'est pas seulement déterminé par les informations saisies par l'utilisateur et l'état interne du système logiciel, mais est également affecté par l'environnement physique. Bien qu'il existe actuellement un petit nombre de recherches axées sur le problème de génération de données de nuages ​​de points affecté par divers facteurs environnementaux, en raison des caractéristiques des données de nuages ​​de points, l'authenticité des données générées est difficile à assimiler aux données de test de conduite. Comment y parvenir sans augmenter considérablement la consommation de ressources supplémentaires ? Dans ce cas, la génération automatique de données de nuages ​​de points capables de décrire une variété de facteurs environnementaux réels est un problème clé qui doit être résolu.

Dans l'architecture logicielle commune des logiciels de conduite autonome, les modèles d'intelligence artificielle ont un impact extrêmement important sur les décisions de conduite et le comportement du système. Les fonctions qu'ils affectent incluent : la reconnaissance d'objets, la planification de trajectoire, la prédiction de comportement, etc. Le modèle d'intelligence artificielle le plus couramment utilisé pour le traitement des données de nuages ​​de points est le modèle de détection de cible, qui est mis en œuvre à l'aide de réseaux neuronaux profonds. Bien que cette technologie puisse atteindre une grande précision sur des tâches spécifiques, en raison du manque d'interprétabilité de ses résultats, les utilisateurs et les développeurs ne peuvent pas analyser et confirmer son comportement, ce qui entraîne de grandes difficultés dans le développement de la technologie de test et dans l'évaluation de l'adéquation des tests. Autant de défis auxquels les futurs testeurs de modèles lidar devront faire face.

4 Test du système de perception de fusion de conduite autonome

Les systèmes de conduite autonome sont généralement équipés d'une variété de capteurs pour détecter les informations environnementales, et sont équipés d'une variété de logiciels et d'algorithmes pour effectuer diverses tâches de conduite autonome. Différents capteurs ont des caractéristiques physiques différentes et leurs scénarios d'application sont également différents. La technologie de détection par fusion peut compenser la faible adaptabilité environnementale d'un seul capteur et assurer le fonctionnement normal du système de conduite autonome dans diverses conditions environnementales grâce à la coopération de plusieurs capteurs.

En raison des différentes manières d'enregistrer les informations, il existe une forte complémentarité entre les différents types de capteurs. Le coût d'installation de la caméra est faible et les données d'image collectées ont une haute résolution et des informations visuelles riches telles que la couleur et la texture. Cependant, la caméra est sensible à l'environnement et peut ne pas être fiable la nuit, en cas de forte luminosité et d'autres changements de lumière. Le LiDAR, en revanche, n’est pas facilement affecté par les changements de lumière et offre une perception tridimensionnelle précise de jour comme de nuit. Cependant, le lidar est coûteux et les données de nuages ​​de points collectées manquent d'informations sur les couleurs, ce qui rend difficile l'identification de cibles sans formes évidentes. Comment utiliser les avantages de chaque donnée modale et extraire des informations sémantiques plus approfondies est devenu un problème important dans la technologie de détection fusionnée.

Les chercheurs ont proposé diverses méthodes de fusion de données. La technologie de détection par fusion du lidar et des caméras basée sur l'apprentissage profond est devenue une direction de recherche majeure en raison de sa grande précision. Feng et al. ont brièvement résumé les méthodes de fusion en trois types : fusion à un stade précoce, à un stade intermédiaire et à un stade avancé. La fusion précoce fusionne uniquement les données originales ou les données prétraitées ; la fusion intermédiaire fusionne les caractéristiques des données extraites par chaque branche ; la fusion tardive ne fusionne que les résultats finaux de chaque branche. Bien que la technologie de détection fusionnée basée sur l’apprentissage profond ait démontré un grand potentiel dans les ensembles de données de référence existants, de tels modèles intelligents peuvent toujours présenter des comportements extrêmes incorrects et inattendus dans des scénarios réels avec des environnements complexes, entraînant des pertes fatales. Pour garantir la sécurité des systèmes de conduite autonome, ces modèles de perception fusionnés doivent être minutieusement testés.

À l'heure actuelle, la technologie de test de détection fusionnée en est encore à son stade préliminaire. L'énorme domaine d'entrée des tests et le coût élevé de la collecte de données sont les principaux problèmes. Par conséquent, la technologie de génération automatisée de données de test a reçu une large attention. Wang et al. ont proposé un algorithme d'amélioration des données multimodales qui insère des objets virtuels dans des images et des nuages ​​de points selon des règles de cohérence géométrique pour générer des ensembles de données de test. Zhang et al.

Considérant l'impact des environnements complexes dans des scènes réelles sur les capteurs, notre équipe a conçu une technologie d'amplification de données pour les systèmes de détection de fusion multimodaux. Cette méthode utilise des experts du domaine pour développer un ensemble de règles de mutation avec une sémantique réaliste pour chaque donnée modale, et génère automatiquement des données de test pour simuler divers facteurs qui interfèrent avec les capteurs dans des scénarios réels, et aide les développeurs de logiciels à tester et à tester avec des ressources limitées. systèmes de détection. Les opérateurs de mutation utilisés dans cette méthode comprennent trois catégories : les opérateurs de bruit de signal, les opérateurs d'alignement de signal et les opérateurs de perte de signal, qui simulent différents types d'interférences existant dans des scènes réelles. L'opérateur de bruit fait référence à la présence de bruit dans les données collectées en raison de l'influence de facteurs environnementaux lors du processus de collecte des données des capteurs. Par exemple, pour les données d'image, des opérateurs tels que spot et flou sont utilisés pour simuler la situation dans laquelle l'appareil photo rencontre une forte lumière et tremble. L'opérateur d'alignement simule le désalignement des modes de données multimodaux, notamment le désalignement temporel et le désalignement spatial. Dans le premier cas, un signal est retardé de manière aléatoire pour simuler une congestion ou un retard de transmission. Pour ces derniers, des ajustements mineurs sont apportés aux paramètres d'étalonnage de chaque capteur pour simuler de légers changements de position du capteur dus à la gigue du véhicule et à d'autres problèmes pendant le déplacement du véhicule. L'opérateur de perte de signal simule une défaillance du capteur. Plus précisément, après avoir rejeté un signal au hasard, observez si l'algorithme de fusion peut répondre à temps ou fonctionner normalement.

En bref, la technologie de perception par fusion multicapteurs est une tendance inévitable dans le développement de la conduite autonome. Des tests complets sont une condition nécessaire pour garantir que le système fonctionne normalement dans un environnement réel complexe. est encore un problème urgent à résoudre.

Conclusion

Les tests de perception de la conduite autonome sont étroitement intégrés au processus de développement de logiciels de conduite autonome, et divers types de tests en boucle deviendront progressivement un élément nécessaire de l'assurance qualité de la conduite autonome. Dans les applications industrielles, les tests de conduite réels restent importants. Cependant, il existe des problèmes tels qu'un coût excessif, une efficacité insuffisante et des risques élevés pour la sécurité, qui sont loin de répondre aux besoins de test et de vérification des systèmes de perception intelligents de conduite autonome. Le développement rapide de méthodes formelles et de tests virtuels de simulation dans plusieurs branches de recherche fournit des moyens efficaces d'améliorer les tests. Les chercheurs explorent des indicateurs de test de modèles et des technologies adaptées à la conduite intelligente pour prendre en charge les méthodes de test de simulation virtuelle. Cette équipe s'engage à rechercher les méthodes de génération, d'évaluation et d'optimisation des données de test de perception de conduite autonome, en se concentrant sur une recherche approfondie sur trois aspects basés sur des images, des données de nuages ​​de points et des tests de fusion de perception pour garantir un système de perception de conduite autonome de haute qualité. .

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!