生成模型构建交互式现实世界模拟器，LeCun觉得非常酷

基于互联网数据训练的生成模型彻底改变了文本、图像和视频内容的创建方式。有研究者预测，也许生成模型的下一个里程碑是能够模拟人类体验世界的方方面面，比如在公路上如何驾驶汽车，又比如如何准备饭菜。

现如今，借助非常全面的真实世界模拟器（real-world simulator），人类可以与不同场景和物体进行交互，机器人也可以从模拟经验中进行学习，从而避免出现物理损坏的风险。

然而，构建这样一个真实世界模拟器的主要障碍之一在于可用的数据集。尽管互联网上有数十亿的文本、图像和视频片段，但不同的数据集涵盖不同的信息轴，必须将这些数据集整合在一起才能模拟出对世界的真实体验。例如，成对的文本图像数据包含丰富的场景和对象，但很少有动作；视频字幕和问答数据包含丰富的高级活动描述，但很少有低级运动细节；人类活动数据包含丰富的人类动作，但很少有机械运动；而机器人数据包含丰富的机器人动作，但数量有限

以上列举的信息差异是自然的且难以克服，这给构建一个旨在捕捉现实世界真实体验的真实世界模拟器带来了困难。

本文中，来自 UC 伯克利、Google DeepMind、MIT 等机构的研究者探索了通过生成模型学习真实世界交互的通用模拟器 UniSim，迈出了构建通用模拟器的第一步。例如 UniSim 可以通过模拟「打开抽屉」等高级指令和低级指令的视觉结果来模拟人类和智能体如何与世界交互。

• 论文地址：https://arxiv.org/pdf/2310.06114.pdf
• 论文主页：https://universal-simulator.github.io/unisim/

本文将大量数据（包括互联网文本 - 图像对，来自导航、人类活动、机器人动作等的丰富数据，以及来自模拟和渲染的数据）结合到一个条件视频生成框架中。然后通过仔细编排沿不同轴的丰富数据，本文表明 UniSim 可以成功地合并不同轴数据的经验并泛化到数据之外，通过对静态场景和对象的细粒度运动控制来实现丰富的交互。

下面视频演示了 UniSim 如何模拟具有长交互视界的示例，视频显示 UniSim 一口气模拟了机器人八个动作指令：

UniSim 对人类动作的模拟：

UniSim 对 RL 策略的模拟部署如下所示：

Meta首席AI科学家Yann LeCun和英伟达高级研究科学家Jim Fan等行业专家对这项研究进行了转发。LeCun对此给出了一个“酷”的评价

Jim Fan表示，这项工作非常有趣。视频扩散模型被用作数据驱动的物理模拟，其中智能体可以规划、探索和学习最优行动，而无需接触机器人硬件或造成任何损害。可以说，LLM不仅是一个操作系统，还是一个完整的现实模拟器

论文的第一作者，加州大学伯克利分校的博士生Sherry Yang表示，“学习现实世界模型正在成为现实。”

模拟现实世界的交互

根据图3所示，UniSim可以模拟厨房场景中的一系列丰富动作，包括洗手、拿碗、切胡萝卜和擦干手。图3右上方显示了不同的开关，而图3底部则展示了两个导航场景

需要被改写的内容是：对应于图3右下方的导航场景

对应上图3右下的导航场景

以下图 4 展示了一个 UniSim 自回归地顺序模拟 8 个交互的例子，在长程模拟方面

UniSim不仅支持丰富的动作和长程交互，还能够实现高度多样化和随机的环境变换。例如，在移除顶部的毛巾后，显示的对象具有多样性（见下图5左）

UniSim 在真实世界迁移的结果。UniSim 的真正价值在于模拟现实世界，图 7 显示了 VLM 生成的语言规划，UniSim 根据语言规划生成的视频，以及在真实机器人上的执行情况。

除了测试 UniSim 在真实世界的迁移能力之外，本文还进行了基于模拟器的评估，结果如表 2 所示：

用于强化学习的真实世界模拟器

实验还评估了 UniSim 在模拟真实机器人执行各种动作方面的质量如何，机器人通过重复执行低级控制操作约 20-30 个步骤来左、右、下、上移动端点 。表 3 显示，RL 训练显着提高了 VLA 策略在各种任务中的性能，尤其是在指向蓝色块等任务中。然后，本文直接将在 UniSim 中训练的 RL 策略零样本部署到真实机器人上，如图 8（底行）所示。

以上是生成模型构建交互式现实世界模拟器，LeCun觉得非常酷的详细内容。更多信息请关注PHP中文网其他相关文章！