목차
주요 기여:
네트워크 설계:
실험 결과:
기술 주변기기 일체 포함 MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

Oct 13, 2023 pm 12:09 PM
모델 지능적인

본 글은 자율주행하트 공개 계정의 승인을 받아 재인쇄되었습니다.

원제: MotionLM: Multi-Agent Motion Forecasting as Language Modeling

논문 링크: https://arxiv.org/pdf/2309.16534.pdf

저자 단위: Waymo

컨퍼런스: ICCV 2023

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

제목 아이디어:

자율주행 자동차 안전 계획을 위해서는 도로 요원의 미래 행동을 확실하게 예측하는 것이 중요합니다. 본 연구는 연속적인 궤적을 개별 모션 토큰의 시퀀스로 표현하고 다중 에이전트 모션 예측을 언어 모델링 작업으로 처리합니다. 제안된 모델인 MotionLM에는 몇 가지 장점이 있습니다. 첫째, 다중 모드 분포를 최적으로 학습하기 위해 앵커 포인트나 명시적 잠재 변수를 사용할 필요가 없습니다. 대신, 시퀀스 토큰의 평균 로그 확률을 최대화한다는 표준 언어 모델링 목표를 활용합니다. 둘째, 우리의 접근 방식은 상호 작용 채점 후 개별 에이전트 궤적 생성이 발생하는 사후 상호 작용 휴리스틱을 피합니다. 이와 대조적으로 MotionLM은 단일 자동 회귀 디코딩 프로세스에서 대화형 에이전트 미래의 공동 분포를 생성합니다. 또한, 모델의 순차적 분해를 통해 시간적 인과조건 추론이 가능합니다. 우리가 제안한 방법은 Waymo Open Motion Dataset에서 새로운 최첨단 성능을 달성하여 대화형 챌린지 리더보드에서 1위를 차지했습니다

주요 기여:

이 기사에서는 다중 에이전트 모션 예측을 A 언어로 제시합니다. 모델링 작업이 논의됩니다. 인과 언어 모델링 손실로 훈련된 개별 모션 토큰을 디코딩하기 위한 시간 인과 디코더를 소개합니다.

이 문서에서는 모델의 샘플링을 간단한 롤아웃 집계 방식과 결합하여 관절 궤적의 가중 패턴 인식 기능을 향상시킵니다. Waymo Open Motion Dataset 상호 작용 예측 챌린지의 실험을 통해 우리는 이 새로운 방법이 순위 공동 mAP 지표를 6% 향상시키고 최첨단 성능 수준에 도달함을 입증했습니다

이 문서에서는 우리 방법에 대한 광범위한 검토를 수행합니다. 절제 실험을 수행하고 현재의 공동 예측 모델에서는 크게 지원되지 않는 시간적 인과 조건부 예측을 분석합니다.

네트워크 설계:

이 문서의 목표는 최소, 공동 및 조건부 예측을 포함한 다양한 다운스트림 작업에 적용할 수 있는 일반적인 방식으로 다중 에이전트 상호 작용에 대한 분포를 모델링하는 것입니다. 이 목표를 달성하려면 운전 시나리오에서 다양한 형태를 포착할 수 있는 표현적 생성 프레임워크가 필요합니다. 또한 여기서는 시간 종속성 절약을 고려합니다. 즉, 모델에서 추론은 방향성 비순환 그래프를 따르며, 각 노드의 상위 노드는 시간상 더 빠르며 하위 노드는 시간상 더 늦습니다. 이는 조건부 예측이 인과관계에 더 가깝습니다. 왜냐하면 시간적 인과관계에 대한 불복종으로 이어질 수 있는 특정 가짜 상관관계를 제거하기 때문입니다. 이 문서에서는 시간적 종속성을 보존하지 않는 공동 모델이 계획의 핵심 용도인 실제 에이전트 응답을 예측하는 능력이 제한적일 수 있음을 관찰합니다. 이를 위해 이 논문은 에이전트의 모션 토큰이 이전에 샘플링된 모든 토큰에 조건부로 의존하고 궤적이 순차적으로 파생되는 미래 디코더의 자동 회귀 분해를 활용합니다

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

그림 1. 우리 모델은 일련의 에이전트에 대한 개별 모션 토큰 시퀀스를 자동 회귀적으로 생성하여 일관된 대화형 궤적 예측을 생성합니다.

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM의 아키텍처인 그림 2를 참조하세요

이 논문은 먼저 각 모델링 에이전트와 관련된 이종 장면 특징(왼쪽)을 R, N,·,H 모양의 장면 임베딩으로 인코딩합니다. 그 중 R은 롤아웃 수, N은 공동 모델링된 에이전트 수, H는 각 임베딩의 차원입니다. 추론 과정에서 샘플링을 병렬화하기 위해 본 논문에서는 배치 차원에 임베딩을 R번 반복합니다. 다음으로, 궤적 디코더는 시간적으로 인과적인 방식으로 여러 에이전트에 대해 T개의 개별 모션 토큰을 롤아웃합니다(가운데). 마지막으로, 비최대 억제 초기화(오른쪽 패널)를 사용하여 k-평균 클러스터의 간단한 집계를 통해 일반적인 롤아웃 패턴을 복구할 수 있습니다.

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

사진 3. 세 가지 WOMD 시나리오에 대한 처음 두 가지 예측 공동 롤아웃 모드가 표시됩니다.

색상 그라데이션은 t = 0초에서 t = 8초까지의 시간 변화를 나타냅니다. 관절 모드는 녹색에서 파란색으로 전환되며, 하위 관절 모드는 가장 높은 확률로 주황색에서 보라색으로 전환됩니다. 우리는 세 가지 유형의 상호 작용을 관찰했습니다. 인접한 차선에 있는 에이전트는 차선 변경 시간에 따라 차선 변경 에이전트에게 양보하고(왼쪽), 보행자는 차량의 진행 상황에 따라 지나가는 차량 뒤로 걸어가고(가운데) 회전 차량은 지나가는 자전거 운전자에게 양보하거나(대부분 모드) 자전거 운전자가 접근하기 전에 회전합니다(보통 모드)(오른쪽)

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

그림 4를 참조하세요. 이 그림은 공동 유도(왼쪽), 개입 후 인과 베이지안 네트워크(가운데) 및 인과 조건화(오른쪽)의 인과 베이지안 네트워크 표현을 보여줍니다.

실선은 시간에 따른 인과 관계를 나타내고 점선은 인과 정보 흐름을 나타냅니다. 시간 종속적 제약이 없는 모델은 인과적 조건화를 지원하지만 시간적 인과적 조건화는 지원하지 않습니다. 이는 에이전트 반응을 예측하려고 할 때 문제가 될 수 있습니다.

실험 결과:

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술

인용:

Seff, A., Cera, B., Chen, D. , Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: 언어 모델링을 통한 다중 에이전트 모션 예측. ArXiv.

MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술원본 링크: https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A

위 내용은 MotionLM: 다중 에이전트 모션 예측을 위한 언어 모델링 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Apr 01, 2024 pm 07:46 PM

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! 공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! May 06, 2024 pm 04:13 PM

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 Apr 26, 2024 am 11:37 AM

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

Yolov10: 자세한 설명, 배포, 적용이 모두 한곳에! Yolov10: 자세한 설명, 배포, 적용이 모두 한곳에! Jun 07, 2024 pm 12:05 PM

1. 소개 지난 몇 년 동안 YOLO는 계산 비용과 감지 성능 간의 효과적인 균형으로 인해 실시간 객체 감지 분야에서 지배적인 패러다임이 되었습니다. 연구원들은 YOLO의 아키텍처 설계, 최적화 목표, 데이터 확장 전략 등을 탐색하여 상당한 진전을 이루었습니다. 동시에 사후 처리를 위해 NMS(비최대 억제)에 의존하면 YOLO의 엔드투엔드 배포가 방해되고 추론 대기 시간에 부정적인 영향을 미칩니다. YOLO에서는 다양한 구성 요소의 설계에 포괄적이고 철저한 검사가 부족하여 상당한 계산 중복이 발생하고 모델 기능이 제한됩니다. 이는 최적이 아닌 효율성을 제공하며 성능 향상을 위한 상대적으로 큰 잠재력을 제공합니다. 이 작업의 목표는 사후 처리와 모델 아키텍처 모두에서 YOLO의 성능 효율성 경계를 더욱 향상시키는 것입니다. 이를 위해

See all articles