Ajout du comportement réel des agents au simulateur de conduite autonome CARLA

Article arXiv "Insertion des comportements d'agents réels dans le simulateur de conduite autonome CARLA", 22 juin, Espagne.

Le rôle de la simulation dans la conduite autonome devient de plus en plus important en raison de la nécessité d'un prototypage rapide et de tests approfondis. La simulation basée sur la physique offre de multiples avantages à un coût raisonnable tout en éliminant les risques pour le prototypage, les conducteurs et les Usagers vulnérables de la route (VRU).

Cependant, il existe deux limitations principales. Premièrement, l’écart de réalité bien connu fait référence à la différence entre la réalité et la simulation qui empêche les expériences de conduite autonome simulées d’atteindre des performances efficaces dans le monde réel. Deuxièmement, il existe un manque de connaissances empiriques sur le comportement des agents réels (les humains), y compris les conducteurs ou passagers de secours et les autres usagers de la route tels que les véhicules, les piétons ou les cyclistes.

Les simulations d'agents sont généralement préprogrammées, aléatoires ou générées sur la base de données réelles, mais ne représentent pas le comportement d'agents réels interagissant avec des scénarios de simulation spécifiques. Cet article propose un cadre préliminaire qui permet une interaction en temps réel entre des agents réels et des environnements simulés, y compris des véhicules autonomes, et génère des données de séquence synthétiques à partir de capteurs simulés sur plusieurs vues pour former des systèmes prédictifs reposant sur des modèles comportementaux.

Cette approche intègre des systèmes immersifs de réalité virtuelle (VR) et de capture de mouvement humain (HMC) avec CARLA pour la conduite autonome. Il décrit l'architecture matérielle et logicielle et discute de ce que l'on appelle l'écart comportemental.

Comme le montre la figure, un aperçu de la méthode : (1) CARLA-UE est équipé de poses de tête (casque VR) et de corps (système de capture de mouvement). (2) Générez des scènes incluant des véhicules autonomes et des piétons numériques. (3) Fournir un environnement aux piétons (via des casques VR). (4) Les capteurs automatiques des véhicules détectent l’environnement, y compris les piétons.

Ce qui suit présente les fonctions du système VR immersif dans le simulateur de conduite autonome CARLA.

Obtenez une immersion totale pour les piétons en menant des études comportementales et interactives en utilisant les capacités fournies par UE4 et du matériel externe tel que des lunettes VR et un ensemble de capteurs de mouvement.

Le simulateur open source CARLA est implémenté sur UE4, qui offre un rendu de haute qualité, des environnements physiques réalistes et un écosystème de plug-ins interopérables. CARLA simule des scènes de trafic dynamiques et fournit une interface entre le monde virtuel créé par UE4 et l'agent routier s'exécutant dans la scène. CARLA est conçu comme un système serveur-client pour y parvenir, le serveur exécutant la simulation et rendant la scène. La communication entre le client et le serveur se fait via des sockets.

Les principales caractéristiques de l'insertion du comportement d'un agent réel dans la simulation sont basées sur cinq points (comme le montre la figure) : 1) Contrôle d'avatar : bibliothèque de plans CARLA, collecte l'architecture de tous les rôles et attributs, modifie le plan piéton, dans Créer une interface VR immersive et mobile entre les personnes et le monde virtuel ; 2) Suivi du corps : utilisez un ensemble de capteurs inertiels et un logiciel externe propriétaire pour capturer le mouvement du sujet et la perception du mouvement à travers des scènes réelles, et transférer les images d'Avatar. mouvement via des fichiers .bvh Intégré au simulateur ; 3) Conception sonore : CARLA étant un simulateur sans audio, des sons de position sont introduits dans l'environnement pour améliorer l'immersion ; 4) Intégration eHMI : Permet la communication de l'état du véhicule autonome ; et les informations d'intention, effectuez des recherches interactives ; 5) Simulation de scène : Concevez des scènes de circulation dans le client CARLA pour contrôler le comportement des véhicules et des piétons.

La communication entre les usagers de la route est un facteur important dans l'environnement de circulation. Dans le cadre de l’expérience, une interface homme-machine externe (eHMI) a été fournie au véhicule autonome afin de communiquer son statut et ses intentions aux usagers de la route réels.

Comme le montre la figure, la conception eHMI proposée consiste en une bande lumineuse le long de l'avant de la voiture. L'image de gauche est sans eHMI et l'image de droite est avec eHMI. Cela permet d'étudier l'impact de l'interface sur la prise de décision lorsque les trajectoires des piétons convergent avec les trajectoires des véhicules dans des scènes virtuelles.

L'architecture complète du système est présentée dans la figure :

CARLA propose différentes options pour simuler le trafic et des scénarios de trafic spécifiques. Remplissez les simulations avec des conditions de circulation urbaine réalistes grâce aux modules de gestion du trafic. Le contrôle de chaque véhicule est exécuté dans un thread spécifique. La communication avec les autres couches est gérée via une messagerie synchrone.

Contrôlez le flux de trafic en définissant des paramètres qui imposent un comportement spécifique. Par exemple, les voitures peuvent être autorisées à accélérer, à ignorer les feux de circulation, à ignorer les piétons ou à forcer des changements de voie.

Le corps principal est intégré au simulateur comprenant une carte modèle 3D de la ville. Chaque carte est basée sur un fichier OpenDRIVE décrivant un tracé routier entièrement annoté. Cette fonctionnalité permet de concevoir vos propres cartes, de reproduire les mêmes scénarios de trafic dans des environnements réels et virtuels, d'évaluer l'intégration du comportement réel du simulateur, et de pouvoir mener des études de terrain en comparant les résultats d'interaction.

La configuration matérielle est comme indiqué sur l'image : au cours de l'expérience, l'Oculus Quest 2 a été utilisé comme un casque (HMD), créé par Meta, un processeur de 6 Go de RAM, deux objectifs réglables de 1 832 x 1 920, un taux de rafraîchissement de 90 Hz et 256 Go de mémoire . Le Quest 2 est doté d'une connectivité Wi-Fi 6, Bluetooth 5.1 et USB Type-C, de la prise en charge de SteamVR et de haut-parleurs 3D. Pour le suivi de l’ensemble du corps, emballez la solution avec PNS avec un tracker inertiel. Le kit comprend un casque VR autonome, 2 contrôleurs de mouvement, 17 capteurs corporels inertiels Studio, 14 jeux de sangles, un étui de chargement et un émetteur-récepteur Studio.

Étant donné que CARLA build et Quest 2 reposent uniquement sur Windows, le système d'immersion VR s'appuie actuellement sur les systèmes d'exploitation UE4.24 et Windows 10. Avec le plugin TCP sockets, la position de l'éditeur de tous les participants et d'autres paramètres utiles sont envoyés depuis l'API Python, intégrant la voix de chaque participant ou l'eHMI d'un véhicule autonome. "VR Preview" démarre le jeu sur HMD. Perception Neuron Studio fonctionne avec Axis Studio, qui prend en charge jusqu'à 3 sujets à la fois et 23 capteurs corporels et tactiles simultanément.

L'image montre la simulation des conditions de circulation interactives : (a) conception du monde en 3D. (b) Avatar, exécuteur correspondant aux piétons. (c) Voitures autonomes. (d) Sons environnementaux et sons intelligents. (e) eHMI. f) Feux de circulation et panneaux de signalisation.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!