Table des matières
Fonctionnalités du simulateur
Créez votre propre Driver Agent
Démarrez rapidement
Maison Périphériques technologiques IA LimSim++ : Une nouvelle étape pour les grands modèles multimodaux en conduite autonome

LimSim++ : Une nouvelle étape pour les grands modèles multimodaux en conduite autonome

Mar 12, 2024 pm 03:10 PM
智能 驾驶

Nom de l'article : LimSim++ : A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

Page d'accueil du projet : https://pjlab-adg.github.io/limsim_plus/

LimSim++ : Une nouvelle étape pour les grands modèles multimodaux en conduite autonome

Introduction au simulateur

Alors que le modèle multimodal de langage étendu ((M)LLM) a déclenché un boom de la recherche dans le domaine de l'intelligence artificielle, son application dans la technologie de conduite autonome est progressivement devenue le centre d'attention. Ces modèles apportent un soutien solide à la création de systèmes de conduite autonome sûrs et fiables grâce à de puissantes capacités de compréhension généralisée et de raisonnement logique. Bien qu'il existe des plateformes de simulation en boucle fermée telles que HighwayEnv, CARLA et NuPlan, qui peuvent vérifier les performances du LLM en conduite autonome, les utilisateurs doivent généralement adapter ces plateformes eux-mêmes, ce qui non seulement élève le seuil d'utilisation, mais limite également la exploration approfondie des capacités du LLM.

Pour relever ce défi, l'Intelligent Transportation Platform Group du Shanghai Artificial Intelligence Laboratory a lancé **LimSim++**, une plateforme de simulation de conduite autonome en boucle fermée spécialement conçue pour (M)LLM. Le lancement de LimSim++ vise à fournir aux chercheurs dans le domaine de la conduite autonome un environnement plus approprié pour explorer de manière globale le potentiel du LLM dans la technologie de conduite autonome. La plate-forme peut extraire et traiter les informations de scène à partir d'environnements de simulation tels que SUMO et CARLA, en les convertissant en plusieurs formulaires d'entrée requis par LLM, notamment les informations d'image, la cognition de scène et la description de tâche. De plus, LimSim++ dispose également d'une fonction de conversion de primitives de mouvement, qui peut générer rapidement des trajectoires de conduite appropriées basées sur les décisions de LLM pour réaliser une simulation en boucle fermée. Plus important encore, LimSim++ crée un environnement d'apprentissage continu pour LLM, qui aide LLM à optimiser en permanence les stratégies de conduite et à améliorer les performances de conduite de l'agent conducteur en évaluant les résultats des décisions et en fournissant des commentaires.

LimSim++ : Une nouvelle étape pour les grands modèles multimodaux en conduite autonome

Fonctionnalités du simulateur

LimSim++ possède des fonctionnalités importantes dans le domaine de la simulation de conduite autonome, offrant une simulation en boucle fermée idéale et un environnement d'apprentissage continu pour l'agent de conduite piloté par (M)LLM.

  • LimSim++ prend en charge la simulation d'une variété de scénarios de conduite, tels que les intersections, les rampes et les ronds-points, garantissant que l'agent conducteur peut relever des défis dans diverses conditions routières complexes. Ce décor de scène diversifié aide LLM à acquérir une expérience de conduite plus riche et à améliorer son adaptabilité dans des environnements réels.
  • LimSim++ prend en charge les grands modèles de langage avec plusieurs entrées modales. LimSim++ fournit non seulement une génération d'informations de scène basée sur des règles, mais peut également être débogué conjointement avec CARLA pour fournir une entrée visuelle riche afin de répondre aux besoins de perception visuelle du (M)LLM en conduite autonome.
  • LimSim++ se concentre sur les capacités d'apprentissage continu. LimSim++ intègre des modules tels que l'évaluation, la réflexion et la mémoire pour aider (M)LLM à accumuler continuellement de l'expérience et à optimiser les stratégies de prise de décision pendant le processus de simulation.

Créez votre propre Driver Agent

LimSim++ : Une nouvelle étape pour les grands modèles multimodaux en conduite autonome

LimSim++ fournit aux utilisateurs une interface riche qui peut répondre aux besoins de personnalisation de Driver Agent, améliore la flexibilité du développement LimSim++ et abaisse le seuil d'utilisation.

  1. Construction d'invites
  • LimSim++ prend en charge les invites définies par l'utilisateur pour modifier la saisie des informations textuelles en (M)LLM, y compris les paramètres de rôle, les exigences des tâches, les descriptions de scènes et d'autres informations.
  • LimSim++ fournit des modèles de description de scène basés sur le format json, permettant aux utilisateurs de modifier les invites sans code, sans considérer la mise en œuvre spécifique de l'extraction d'informations.
  1. Module d'évaluation des décisions
  • LimSim++ fournit une base de référence pour évaluer les résultats de la décision (M)LLM. Les utilisateurs peuvent ajuster les préférences d'évaluation en modifiant les paramètres de poids.
  1. Flexibilité du framework
  • LimSim++ permet aux utilisateurs d'ajouter des bibliothèques d'outils personnalisées pour (M)LLM, telles que des outils de perception, des outils de traitement numérique, etc.

Démarrez rapidement

  • Étape 0 :Installez SUMO (Version≥v1.15.0, ubuntu)
sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc
Copier après la connexion
  • Étape 1 : Téléchargez le code source de LimSim++ package de compression, décompressez et changez dans la bonne branche
git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus
Copier après la connexion
  • Étape 2 :Installer les dépendances (conda est requis)
cd LimSimconda env create -f environment.yml
Copier après la connexion
  • Étape 3 : Exécuter la simulation
  • Exécutez la simulation seul
python ExampleModel.py
Copier après la connexion
  • Utiliser LLM pour la conduite autonome
export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py
Copier après la connexion
  • Utiliser VLM pour la conduite autonome
# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py
Copier après la connexion

Pour plus d'informations, veuillez consulter le github de LimSim++ : https://github.com/PJLab-ADG/LimSim/tree /LimSim_plus, si vous avez d'autres questions, veuillez les soulever dans Problèmes sur GitHub ou contactez-nous directement par e-mail !

Nous invitons les partenaires du monde universitaire et de l'industrie à développer conjointement LimSim++ et à construire un écosystème open source !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Smart App Control sur Windows 11 : comment l'activer ou le désactiver Smart App Control sur Windows 11 : comment l'activer ou le désactiver Jun 06, 2023 pm 11:10 PM

Intelligent App Control est un outil très utile dans Windows 11 qui aide à protéger votre PC contre les applications non autorisées qui peuvent endommager vos données, telles que les ransomwares ou les logiciels espions. Cet article explique ce qu'est Smart App Control, comment il fonctionne et comment l'activer ou le désactiver dans Windows 11. Qu’est-ce que Smart App Control dans Windows 11 ? Smart App Control (SAC) est une nouvelle fonctionnalité de sécurité introduite dans la mise à jour Windows 1122H2. Il fonctionne avec Microsoft Defender ou un logiciel antivirus tiers pour bloquer les applications potentiellement inutiles susceptibles de ralentir votre appareil, d'afficher des publicités inattendues ou d'effectuer d'autres actions inattendues. Application intelligente

Les traits du visage volent, ouvrent la bouche, regardent fixement et lèvent les sourcils. L'IA peut les imiter parfaitement, ce qui rend impossible la prévention des escroqueries vidéo. Les traits du visage volent, ouvrent la bouche, regardent fixement et lèvent les sourcils. L'IA peut les imiter parfaitement, ce qui rend impossible la prévention des escroqueries vidéo. Dec 14, 2023 pm 11:30 PM

Avec une capacité d'imitation de l'IA aussi puissante, il est vraiment impossible de l'empêcher. Le développement de l’IA a-t-il atteint ce niveau aujourd’hui ? Votre pied avant fait voler les traits de votre visage, et sur votre pied arrière, la même expression est reproduite. Regarder fixement, lever les sourcils, faire la moue, aussi exagérée que soit l'expression, tout est parfaitement imité. Augmentez la difficulté, haussez les sourcils, ouvrez plus grand les yeux, et même la forme de la bouche est tordue, et l'avatar du personnage virtuel peut parfaitement reproduire l'expression. Lorsque vous ajustez les paramètres à gauche, l'avatar virtuel à droite modifiera également ses mouvements en conséquence pour donner un gros plan de la bouche et des yeux. On ne peut pas dire que l'imitation soit exactement la même, seule l'expression est exactement la même. idem (extrême droite). La recherche provient d'institutions telles que l'Université technique de Munich, qui propose GaussianAvatars, qui

Savez-vous que les programmeurs seront en déclin dans quelques années ? Savez-vous que les programmeurs seront en déclin dans quelques années ? Nov 08, 2023 am 11:17 AM

Le magazine "ComputerWorld" a écrit un article disant que "la programmation disparaîtra d'ici 1960" parce qu'IBM a développé un nouveau langage FORTRAN, qui permet aux ingénieurs d'écrire les formules mathématiques dont ils ont besoin, puis de les soumettre à l'ordinateur pour que la programmation se termine. Picture Quelques années plus tard, nous avons entendu un nouveau dicton : tout homme d'affaires peut utiliser des termes commerciaux pour décrire ses problèmes et dire à l'ordinateur quoi faire. Grâce à ce langage de programmation appelé COBOL, les entreprises n'ont plus besoin de programmeurs. Plus tard, il est dit qu'IBM a développé un nouveau langage de programmation appelé RPG qui permet aux employés de remplir des formulaires et de générer des rapports, de sorte que la plupart des besoins de programmation de l'entreprise puissent être satisfaits grâce à lui.

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents Oct 13, 2023 pm 12:09 PM

Cet article est reproduit avec la permission du compte public Autonomous Driving Heart. Veuillez contacter la source pour la réimpression. Titre original : MotionLM : Multi-Agent Motion Forecasting as Language Modeling Lien vers l'article : https://arxiv.org/pdf/2309.16534.pdf Affiliation de l'auteur : Conférence Waymo : ICCV2023 Idée d'article : Pour la planification de la sécurité des véhicules autonomes, prédisez de manière fiable le comportement futur des agents routiers est cruciale. Cette étude représente les trajectoires continues sous forme de séquences de jetons de mouvement discrets et traite la prédiction de mouvement multi-agents comme une tâche de modélisation du langage. Le modèle que nous proposons, MotionLM, présente les avantages suivants :

Le robot humanoïde universel intelligent GR-1 Fourier est sur le point de commencer la prévente ! Le robot humanoïde universel intelligent GR-1 Fourier est sur le point de commencer la prévente ! Sep 27, 2023 pm 08:41 PM

Le robot humanoïde, qui mesure 1,65 mètre, pèse 55 kilogrammes et possède 44 degrés de liberté dans son corps, peut marcher rapidement, éviter les obstacles rapidement, monter et descendre régulièrement les pentes et résister aux chocs et aux interférences. Vous pouvez désormais le ramener chez vous. ! Le robot humanoïde universel GR-1 de Fourier Intelligence a commencé la prévente. Salle de conférence Robot Le robot humanoïde universel Fourier GR-1 de Fourier Intelligence est maintenant ouvert à la prévente. GR-1 a une configuration de tronc hautement bionique et un contrôle de mouvement anthropomorphique. Il a 44 degrés de liberté dans tout le corps. Il a la capacité de marcher, d'éviter les obstacles, de franchir des obstacles, de monter et de descendre des pentes, de résister aux interférences et de s'adapter. à différentes surfaces routières. C'est un système d'intelligence artificielle général. Page de prévente du site officiel : www.fftai.cn/order#FourierGR-1# Fourier Intelligence doit être réécrit.

Lisez le châssis de skateboard de voiture intelligente dans un article Lisez le châssis de skateboard de voiture intelligente dans un article May 24, 2023 pm 12:01 PM

01 Qu'est-ce qu'un châssis de skateboard ? Le soi-disant châssis de skateboard intègre à l'avance la batterie, le système d'entraînement électrique, la suspension, les freins et d'autres composants sur le châssis pour réaliser la séparation et le découplage de la carrosserie et du châssis. Grâce à ce type de plateforme, les constructeurs automobiles peuvent réduire considérablement les coûts initiaux de R&D et de tests, tout en répondant rapidement à la demande du marché pour créer différents modèles. Surtout à l'ère de la conduite sans conducteur, la disposition de la voiture n'est plus centrée sur la conduite, mais se concentrera sur les attributs d'espace. Le châssis de type skateboard peut offrir plus de possibilités pour le développement de l'habitacle supérieur. Comme le montre l'image ci-dessus, bien sûr, lorsque nous regardons le châssis du skateboard, nous ne devrions pas nous laisser encadrer par la première impression de "Oh, c'est un corps non porteur" lorsque nous y arrivons. Il n’y avait pas de voitures électriques à l’époque, donc pas de batteries valant des centaines de kilogrammes, pas de système de direction électrique capable d’éliminer la colonne de direction, ni de système de freinage électrique.

Analyse approfondie de la technologie des châssis à commande filaire pour les voitures connectées intelligentes Analyse approfondie de la technologie des châssis à commande filaire pour les voitures connectées intelligentes May 02, 2023 am 11:28 AM

01 Technologie de contrôle par fil La technologie de contrôle cognitif par fil (XbyWire) convertit les actions de fonctionnement du conducteur via des capteurs en signaux électriques pour obtenir le contrôle de la transmission, remplaçant les systèmes mécaniques ou hydrauliques traditionnels, et les signaux électriques contrôlent directement les actionneurs pour obtenir contrôle L'objectif et le principe de base sont illustrés à la figure 1. Cette technologie trouve son origine dans l'avion FlybyWire lancé par la National Aeronautics and Space Administration (NASA) en 1972. Parmi eux, « X » est comme le nombre inconnu dans une équation mathématique, représentant divers composants et opérations associées dans la voiture qui sont traditionnellement contrôlés mécaniquement ou hydrauliquement. Figure 1 Principes de base de la technologie de contrôle de ligne

Huawei lancera le système de détection Xuanji dans le domaine des appareils portables intelligents, capable d'évaluer l'état émotionnel de l'utilisateur en fonction de la fréquence cardiaque Huawei lancera le système de détection Xuanji dans le domaine des appareils portables intelligents, capable d'évaluer l'état émotionnel de l'utilisateur en fonction de la fréquence cardiaque Aug 29, 2024 pm 03:30 PM

Récemment, Huawei a annoncé qu'il lancerait en septembre un nouveau produit portable intelligent équipé du système de détection Xuanji, qui devrait être la dernière montre intelligente de Huawei. Ce nouveau produit intégrera des fonctions avancées de surveillance de la santé émotionnelle. Le système de perception Xuanji fournit aux utilisateurs une évaluation complète de la santé avec ses six caractéristiques : précision, exhaustivité, rapidité, flexibilité, ouverture et évolutivité. Le système utilise un module de super-détection et optimise la technologie d'architecture de chemin optique multicanal, ce qui améliore considérablement la précision de surveillance des indicateurs de base tels que la fréquence cardiaque, l'oxygène dans le sang et la fréquence respiratoire. En outre, le système de détection Xuanji a également élargi la recherche sur les états émotionnels sur la base des données de fréquence cardiaque. Il ne se limite pas aux indicateurs physiologiques, mais peut également évaluer l'état émotionnel et le niveau de stress de l'utilisateur. Il prend en charge la surveillance de plus de 60 sports. indicateurs de santé, couvrant les domaines cardiovasculaire, respiratoire, neurologique, endocrinien,

See all articles