大模型「上车」关键一步：全球首个语言+自动驾驶开源数据集来了

DriveLM是一个基于语言的驱动项目，它包含一个数据集和一个模型。通过DriveLM，我们介绍了自动驾驶（AD）中大型语言模型的推理能力，以做出决策并确保可解释的规划。

在DriveLM的数据集中，我们将人工书写的推理逻辑作为连接，以促进感知、预测和规划（P3）。在我们的模型中，我们提出了一个具备思维图能力的AD视觉语言模型，以产生更优质的规划结果。目前，我们已经发布了数据集的演示版本，完整的数据集和模型将在未来发布

项目链接：https://github.com/OpenDriveLab/DriveLM 需要重写的内容是：项目链接：https://github.com/OpenDriveLab/DriveLM

What is Graph-of-Thoughts in AD?

数据集最令人兴奋的方面是，P3中的问答（QA）以图形风格的结构连接，QA对作为每个节点，对象的关系作为边。

相较于纯语言的思维树或思维图，我们更倾向于多模态。在AD域中，我们之所以这样做，是因为每个阶段都定义了AD任务，从原始传感器输入到最终控制动作

DriveLM数据集中包含什么？

基于主流的nuScenes数据集构建我们的数据集。DriveLM最核心的元素是基于帧的P3 QA。感知问题需要模型识别场景中的对象。预测问题要求模型预测场景中重要对象的未来状态。规划问题促使模型给出合理的规划行动，避免危险的行动。

标定过程如何？

1. 关键帧选择。给定一个剪辑中的所有帧，注释器将选择需要注释的关键帧。标准是，这些框架应该涉及自车运动状态的变化（变道、突然停车、停车后启动等）。
2. 关键对象选择。给定关键帧，注释器需要拾取周围六个图像中的关键对象。标准是这些物体应该能够影响自车（交通信号灯、过街行人、其他车辆）
3. 问答注释。给定这些关键对象，我们会自动生成关于感知、预测和规划的单个或多个对象的问题。更多细节可以在我们的演示数据中找到。

以上是大模型「上车」关键一步：全球首个语言+自动驾驶开源数据集来了的详细内容。更多信息请关注PHP中文网其他相关文章！