目录
论文思路:
网络设计:
实验结果:
总结:
引用:
首页 科技周边 人工智能 SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

Feb 20, 2024 am 11:48 AM
自动驾驶 预测

原标题:SIMPL: A Simple and Efficient Multi-agent Motion Prediction Baseline for Autonomous Driving

论文链接:https://arxiv.org/pdf/2402.02519.pdf

代码链接:https://github.com/HKUST-Aerial-Robotics/SIMPL

作者单位:香港科技大学 大疆

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

论文思路:

本文提出了一种用于自动驾驶车辆的简单高效的运动预测基线(SIMPL)。与传统的以代理为中心(agent-centric) 的方法(精度高但需要重复计算)和以场景为中心(scene-centric) 的方法(精度和通用性受到影响)不同,SIMPL 可以为所有相关交通参与者提供实时、准确的运动预测。为了提高准确性和推理速度,本文提出了一种紧凑而高效的全局特征融合模块,该模块以对称方式执行定向消息传递,使网络能够在单次前馈传递中预测所有道路使用者的未来运动,并减轻视点移动导致的精度损失。此外,本文研究了在轨迹解码中使用 Bernstein basis polynomials 进行连续轨迹参数化,允许在任何所需时间点评估状态及其高阶导数,这对于下游规划任务很有价值。作为强大的基线,与其他最先进的方法相比,SIMPL 在 Argoverse 1 和 2 运动预测基准上表现出极具竞争力的性能。此外,其轻量级设计和低推理延迟使 SIMPL 具有高度可扩展性,并有望用于现实世界的机载部署。

网络设计:

预测周围交通参与者的运动对自动驾驶汽车至关重要,尤其是在下游决策和规划模块中。准确预测意图和轨迹将提高安全性和乘坐舒适性。

对于基于学习的运动预测,最重要的主题之一是上下文表示。早期的方法通常将周围场景表示为多通道鸟瞰图像 [1]–[4]。相比之下,最近的研究越来越多地采用矢量化场景表示[5]-[13],其中使用带有地理坐标的点集或多段线(polylines) 来标注位置和几何形状,从而提高保真度并扩大感受野。然而,对于光栅化和矢量化表示,都存在一个关键问题:我们应该如何为所有这些元素选择合适的参考系?一种直接的方法是描述共享坐标系(以场景为中心)内的所有实例,例如以自动驾驶车辆为中心的坐标系,并直接使用坐标作为输入特征。这使我们能够在一次前馈传递中对多个目标代理进行预测 [8, 14]。然而,使用全局坐标作为输入,通常会在单个前馈传递中对多个目标代理进行预测 [8, 14]。然而,使用全局坐标作为输入(通常会在很大范围内变化)将大大加剧任务的固有复杂性,导致网络性能下降和对新场景的适应性有限。为了提高准确性和鲁棒性,一种常见的解决方案是根据目标代理的当前状态对场景上下文进行归一化处理 [5, 7, 10]-[13](以代理为中心)。这意味着必须对每个目标代理重复执行归一化过程和特征编码,从而获得更好的性能,但代价是冗余计算。因此,有必要探索一种能够有效地编码多个目标的特征,同时保持对视角(perspective) 变化的鲁棒性的方法。

对于运动预测的下游模块,例如决策和运动规划,不仅需要考虑未来位置,还需要考虑航向、速度和其他高阶导数。例如,周围车辆的预测航向在塑造未来时空占用方面发挥着关键作用,这是确保安全和稳健的运动规划的关键因素[15, 16]。此外,在不遵守物理约束的情况下独立预测高阶量可能会导致预测结果不一致[17, 18]。例如,尽管速度为零,但它可能会产生位置位移,从而导致规划模块混乱。

本文介绍了一种名为SIMPL(简单高效的运动预测基线)的方法,用于解决自动驾驶系统中多智能体轨迹预测的关键问题。该方法首先采用以实例为中心的场景表示,然后引入了symmetric fusion Transformer(SFT)技术,能够在单次前馈传递中有效地预测所有代理的轨迹,同时保持视角不变性的准确性和鲁棒性。与其他基于对称上下文融合的方法相比,SFT更简单、更轻量级且更易实现,适合在车载环境中部署使用。

其次,本文引入了一种基于 Bernstein basis polynomial(也称为 Bezier curve)的预测轨迹的新颖参数化方法。这种连续表示确保了平滑性,并能够在任何给定时间点轻松评估精确状态及其高阶导数。本文的实证研究表明,与估计 monomial basis polynomials 的系数相比,学习预测 Bezier curves 的控制点更加有效且数值稳定。

最后,所提出的组件被很好地集成到一个简单而高效的模型中。本文在两个大型运动预测数据集上评估了所提出的方法[22, 23],实验结果表明,尽管 SIMPL 具有简化的设计,但与其他最先进的方法相比仍具有很强的竞争力。更重要的是,SIMPL通过较少的可学习参数和较低的推理延迟实现了高效的多智能体轨迹预测,而没有牺牲量化性能,这对于真实世界的机载部署来说是充满希望的。本文还强调,作为一个强大的基线,SIMPL 具有出色的可扩展性。简洁的架构便于与最新的运动预测进展直接整合,为进一步提高整体性能提供了机会。

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

图 1:复杂驾驶场景中多智能体运动预测的图示。本文的方法能够实时地同时为所有相关代理生成合理的假设。自车和其他车辆分别以红色和蓝色显示。根据时间戳使用渐变颜色来可视化预测轨迹。请参考附带的视频了解更多示例。

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

图 2:SIMPL 示意图。本文利用尽可能简单的网络架构来证明其有效性。语义实例的局部特征由简单的编码器处理,而实例间特征则保留在相对位置嵌入中。多模态轨迹预测结果由运动解码器在提出的 symmetric feature Transformer 之后生成。

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

图 3:相对位姿计算示意图。

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

图 4:所提出的 L 层 symmetric fusion Transformer (SFT) 的图示。实例 tokens 和相对位置嵌入(RPE)在每个SFT层中都会循环更新。

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

图 5:2D septic Bezier curve(左)。

实验结果:

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准

总结:

本文提出了一种简单高效的自动驾驶多智能体运动预测基线。利用所提出的 symmetric fusion Transformer,所提出的方法实现了高效的全局特征融合,并保持了针对视点移动的鲁棒性。基于 Bernstein basis polynomials 的连续轨迹参数化提供了与下游模块更高的兼容性。在大规模公共数据集上的实验结果表明,SIMPL 在模型大小和推理速度方面更具优势,同时获得与其他最先进方法相同水平的精度。

引用:

Zhang L, Li P, Liu S, et al. SIMPL: A Simple and Efficient Multi-agent Motion Prediction Baseline for Autonomous Driving[J]. arXiv preprint arXiv:2402.02519, 2024.

以上是SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

为何在自动驾驶方面Gaussian Splatting如此受欢迎,开始放弃NeRF? 为何在自动驾驶方面Gaussian Splatting如此受欢迎,开始放弃NeRF? Jan 17, 2024 pm 02:57 PM

写在前面&笔者的个人理解三维Gaussiansplatting(3DGS)是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新方法的特点是使用了数百万个3D高斯,这与神经辐射场(NeRF)方法有很大的不同,后者主要使用隐式的基于坐标的模型将空间坐标映射到像素值。3DGS凭借其明确的场景表示和可微分的渲染算法,不仅保证了实时渲染能力,而且引入了前所未有的控制和场景编辑水平。这将3DGS定位为下一代3D重建和表示的潜在游戏规则改变者。为此我们首次系统地概述了3DGS领域的最新发展和关

自动驾驶场景中的长尾问题怎么解决? 自动驾驶场景中的长尾问题怎么解决? Jun 02, 2024 pm 02:44 PM

昨天面试被问到了是否做过长尾相关的问题,所以就想着简单总结一下。自动驾驶长尾问题是指自动驾驶汽车中的边缘情况,即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原因之一。自动驾驶的底层架构和大部分技术问题已经被解决,剩下的5%的长尾问题,逐渐成了制约自动驾驶发展的关键。这些问题包括各种零碎的场景、极端的情况和无法预测的人类行为。自动驾驶中的边缘场景"长尾"是指自动驾驶汽车(AV)中的边缘情况,边缘情况是发生概率较低的可能场景。这些罕见的事件

自动驾驶与轨迹预测看这一篇就够了! 自动驾驶与轨迹预测看这一篇就够了! Feb 28, 2024 pm 07:20 PM

轨迹预测在自动驾驶中承担着重要的角色,自动驾驶轨迹预测是指通过分析车辆行驶过程中的各种数据,预测车辆未来的行驶轨迹。作为自动驾驶的核心模块,轨迹预测的质量对于下游的规划控制至关重要。轨迹预测任务技术栈丰富,需要熟悉自动驾驶动/静态感知、高精地图、车道线、神经网络架构(CNN&GNN&Transformer)技能等,入门难度很大!很多粉丝期望能够尽快上手轨迹预测,少踩坑,今天就为大家盘点下轨迹预测常见的一些问题和入门学习方法!入门相关知识1.预习的论文有没有切入顺序?A:先看survey,p

选择相机还是激光雷达?实现鲁棒的三维目标检测的最新综述 选择相机还是激光雷达?实现鲁棒的三维目标检测的最新综述 Jan 26, 2024 am 11:18 AM

0.写在前面&&个人理解自动驾驶系统依赖于先进的感知、决策和控制技术,通过使用各种传感器(如相机、激光雷达、雷达等)来感知周围环境,并利用算法和模型进行实时分析和决策。这使得车辆能够识别道路标志、检测和跟踪其他车辆、预测行人行为等,从而安全地操作和适应复杂的交通环境.这项技术目前引起了广泛的关注,并认为是未来交通领域的重要发展领域之一。但是,让自动驾驶变得困难的是弄清楚如何让汽车了解周围发生的事情。这需要自动驾驶系统中的三维物体检测算法可以准确地感知和描述周围环境中的物体,包括它们的位置、

用于时间序列概率预测的分位数回归 用于时间序列概率预测的分位数回归 May 07, 2024 pm 05:04 PM

不要改变原内容的意思,微调内容,重写内容,不要续写。“分位数回归满足这一需求,提供具有量化机会的预测区间。它是一种统计技术,用于模拟预测变量与响应变量之间的关系,特别是当响应变量的条件分布命令人感兴趣时。与传统的回归方法不同,分位数回归侧重于估计响应变量变量的条件量值,而不是条件均值。”图(A):分位数回归分位数回归概念分位数回归是估计⼀组回归变量X与被解释变量Y的分位数之间线性关系的建模⽅法。现有的回归模型实际上是研究被解释变量与解释变量之间关系的一种方法。他们关注解释变量与被解释变量之间的关

SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准 SIMPL:用于自动驾驶的简单高效的多智能体运动预测基准 Feb 20, 2024 am 11:48 AM

原标题:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving论文链接:https://arxiv.org/pdf/2402.02519.pdf代码链接:https://github.com/HKUST-Aerial-Robotics/SIMPL作者单位:香港科技大学大疆论文思路:本文提出了一种用于自动驾驶车辆的简单高效的运动预测基线(SIMPL)。与传统的以代理为中心(agent-cent

nuScenes最新SOTA | SparseAD:稀疏查询助力高效端到端自动驾驶! nuScenes最新SOTA | SparseAD:稀疏查询助力高效端到端自动驾驶! Apr 17, 2024 pm 06:22 PM

写在前面&出发点端到端的范式使用统一的框架在自动驾驶系统中实现多任务。尽管这种范式具有简单性和清晰性,但端到端的自动驾驶方法在子任务上的性能仍然远远落后于单任务方法。同时,先前端到端方法中广泛使用的密集鸟瞰图(BEV)特征使得扩展到更多模态或任务变得困难。这里提出了一种稀疏查找为中心的端到端自动驾驶范式(SparseAD),其中稀疏查找完全代表整个驾驶场景,包括空间、时间和任务,无需任何密集的BEV表示。具体来说,设计了一个统一的稀疏架构,用于包括检测、跟踪和在线地图绘制在内的任务感知。此外,重

聊聊端到端与下一代自动驾驶系统,以及端到端自动驾驶的一些误区? 聊聊端到端与下一代自动驾驶系统,以及端到端自动驾驶的一些误区? Apr 15, 2024 pm 04:13 PM

最近一个月由于众所周知的一些原因,非常密集地和行业内的各种老师同学进行了交流。交流中必不可免的一个话题自然是端到端与火爆的特斯拉FSDV12。想借此机会,整理一下在当下这个时刻的一些想法和观点,供大家参考和讨论。如何定义端到端的自动驾驶系统,应该期望端到端解决什么问题?按照最传统的定义,端到端的系统指的是一套系统,输入传感器的原始信息,直接输出任务关心的变量。例如,在图像识别中,CNN相对于传统的特征提取器+分类器的方法就可以称之为端到端。在自动驾驶任务中,输入各种传感器的数据(相机/LiDAR

See all articles