Table des matières
Contributions principales :
Conception de réseau :
Résultats expérimentaux :
Maison Périphériques technologiques IA MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Oct 13, 2023 pm 12:09 PM
模型 智能

Cet article est réimprimé avec l'autorisation du compte public Autonomous Driving Heart. Veuillez contacter la source pour la réimpression.

Titre original : MotionLM : Multi-Agent Motion Forecasting as Language Modeling

Lien papier : https://arxiv.org/pdf/2309.16534.pdf

Unité auteur : Waymo

Conférence : ICCV 2023

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Idée de thèse :

Pour la planification de la sécurité des véhicules autonomes, il est crucial de prédire de manière fiable le comportement futur des agents routiers. Cette étude représente les trajectoires continues sous forme de séquences de jetons de mouvement discrets et traite la prédiction de mouvement multi-agents comme une tâche de modélisation du langage. Notre modèle proposé, MotionLM, présente plusieurs avantages : Premièrement, il ne nécessite pas l'utilisation de points d'ancrage ou de variables latentes explicites pour apprendre de manière optimale les distributions multimodales. Au lieu de cela, nous exploitons l'objectif de modélisation du langage standard consistant à maximiser la probabilité log moyenne des jetons de séquence. Deuxièmement, notre approche évite les heuristiques d’interaction post-hoc, où la génération de trajectoires d’agents individuels se produit après la notation des interactions. En revanche, MotionLM génère une distribution conjointe de futurs d'agents interactifs dans un seul processus de décodage autorégressif. De plus, la décomposition séquentielle du modèle permet d’inférer des conditions causales temporelles. La méthode que nous proposons atteint de nouvelles performances de pointe sur l'ensemble de données Waymo Open Motion, se classant au premier rang du classement des défis interactifs

Contributions principales :

Dans cet article, nous présentons la prédiction de mouvement multi-agents comme un langage la tâche de modélisation est discutée. Nous introduisons un décodeur causal temporel pour décoder les jetons de mouvement discrets entraînés avec une perte de modélisation de langage causal

Cet article combinera l'échantillonnage dans le modèle avec un schéma d'agrégation de déploiement simple pour améliorer les capacités de reconnaissance de formes pondérées des trajectoires articulaires. Grâce à des expériences dans le cadre du défi de prédiction d'interaction Waymo Open Motion Dataset, nous démontrons que cette nouvelle méthode améliore la métrique conjointe de classement mAP de 6 % et atteint le niveau de performance de pointe

Cet article procède à un examen approfondi de notre méthode. expérimente l’ablation et analyse ses prédictions conditionnelles causales temporelles, qui ne sont en grande partie pas prises en charge par les modèles de prédiction conjoints actuels.

Conception de réseau :

L'objectif de cet article est de modéliser la distribution sur les interactions multi-agents d'une manière générale qui peut être appliquée à différentes tâches en aval, y compris la prédiction minimale, conjointe et conditionnelle. Pour atteindre cet objectif, un cadre génératif expressif est nécessaire, capable de capturer les multiples morphologies dans les scénarios de conduite. De plus, nous envisageons ici d'économiser les dépendances temporelles ; c'est-à-dire que dans notre modèle, l'inférence suit un graphe acyclique orienté, le nœud parent de chaque nœud étant plus tôt dans le temps et son nœud enfant plus tard dans le temps, ce qui rend la prédiction conditionnelle plus proche de la causalité. intervention parce qu’elle élimine certaines corrélations parasites qui autrement conduiraient à la désobéissance à la causalité temporelle. Cet article observe que les modèles conjoints qui ne préservent pas les dépendances temporelles peuvent avoir une capacité limitée à prédire les réponses réelles des agents, une utilisation clé en planification. À cette fin, cet article utilise une décomposition autorégressive du futur décodeur, où les jetons de mouvement de l'agent dépendent conditionnellement de tous les jetons précédemment échantillonnés, et les trajectoires sont dérivées séquentiellement

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Figure 1. Notre modèle génère de manière autorégressive des séquences de jetons de mouvement discrets pour un ensemble d'agents afin de produire des prédictions de trajectoire interactives cohérentes.

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Veuillez consulter la figure 2, qui est l'architecture de MotionLM

Cet article code d'abord les caractéristiques de scène hétérogènes (à gauche) associées à chaque agent de modélisation dans des intégrations de scène de forme R, N, ·, H. Parmi eux, R est le nombre de déploiements, N est le nombre d'agents modélisés conjointement et H est la dimensionnalité de chaque intégration. Au cours du processus d'inférence, afin de paralléliser l'échantillonnage, cet article répète l'intégration R fois dans la dimension du lot. Ensuite, un décodeur de trajectoire déploie T jetons de mouvement discrets pour plusieurs agents de manière temporellement causale (centre). Enfin, le modèle typique de déploiements peut être récupéré par une simple agrégation de clusters à k moyennes en utilisant une initialisation de suppression non maximale (panneau de droite).

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Photo 3. Les deux premiers modes de déploiement conjoint de prédiction pour trois scénarios WOMD sont présentés.

Le dégradé de couleurs représente le changement de temps de t = 0 seconde à t = 8 secondes. Le mode commun passe du vert au bleu et le mode sous-joint passe de l'orange au violet avec la probabilité la plus élevée. Nous avons observé trois types d'interactions : les agents des voies adjacentes céderont le passage à l'agent changeant de voie en fonction du temps de changement de voie (à gauche), les piétons marcheront derrière les véhicules qui passent en fonction de la progression du véhicule (au milieu), et les véhicules qui tournent soit Cèdera le passage à un cycliste qui passe (mode le plus probable), soit tournera avant qu'un cycliste ne s'approche (mode mineur) (côté droit)

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Veuillez consulter la figure 4. Cette figure montre la représentation du réseau bayésien causal de l'induction conjointe (à gauche), du réseau bayésien causal post-intervention (au milieu) et du conditionnement causal (à droite).

Les lignes pleines représentent les corrélations causales dans le temps, tandis que les lignes pointillées représentent le flux d'informations causales. Un modèle sans contraintes temporelles prendra en charge le conditionnement causal mais pas le conditionnement causal temporel, ce qui peut s'avérer problématique lorsqu'on tente de prédire les réponses des agents.

Résultats expérimentaux :

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Citation :

Seff, A., Cera, B., Chen, D. , Ng, M., Zhou, A., Nayakanti, N., Refaat, KS et Sapp, B. (2023). MotionLM : Prévision de mouvement multi-agents comme modélisation du langage. /abs/2309.16534

.

MotionLM : technologie de modélisation de langage pour la prédiction de mouvement multi-agents

Lien original : https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Apr 29, 2024 pm 04:55 PM

Le FP8 et la précision de quantification inférieure en virgule flottante ne sont plus le « brevet » du H100 ! Lao Huang voulait que tout le monde utilise INT8/INT4, et l'équipe Microsoft DeepSpeed ​​​​a commencé à exécuter FP6 sur A100 sans le soutien officiel de NVIDIA. Les résultats des tests montrent que la quantification FP6 de la nouvelle méthode TC-FPx sur A100 est proche ou parfois plus rapide que celle de INT4, et a une précision supérieure à celle de cette dernière. En plus de cela, il existe également une prise en charge de bout en bout des grands modèles, qui ont été open source et intégrés dans des cadres d'inférence d'apprentissage profond tels que DeepSpeed. Ce résultat a également un effet immédiat sur l'accélération des grands modèles : dans ce cadre, en utilisant une seule carte pour exécuter Llama, le débit est 2,65 fois supérieur à celui des cartes doubles. un

See all articles