CVPR'24 하이라이트 | 손의 움직임까지 캐릭터의 움직임을 생성하는 하나의 프레임워크

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

이 기사의 저자인 Jiang Nan은 강사와 함께 북경 대학교 지능 학부 2년차 박사 과정 학생입니다. Zhu Yixin 교수와 베이징 일반 인공 지능 연구소의 Huang Siyuan 박사가 공동으로 연구 작업을 수행합니다. 그의 연구는 인간-객체 상호 작용 이해 및 디지털 인간 행동 생성에 중점을 두고 있으며 ICCV, CVPR 및 ECCV와 같은 주요 컨퍼런스에서 여러 논문을 발표했습니다.

최근 몇 년간 캐릭터 액션 생성에 관한 연구는 상당한 진전을 이루었으며 컴퓨터 비전, 컴퓨터 그래픽, 로봇 공학, 인간-컴퓨터 상호 작용 등 많은 분야에서 폭넓은 관심을 받아 왔습니다. 그러나 대부분의 기존 작업은 액션 자체에만 초점을 맞추고 있으며 장면과 액션 범주를 모두 제약 조건으로 사용하는 연구는 아직 초기 단계입니다.

이 문제를 해결하기 위해 베이징 일반 인공 지능 연구소(Beijing Institute of General Artificial Intelligence)는 북경 대학 및 베이징 기술 연구소의 연구원들과 함께 현실성, 의미론 및 시나리오 및 길이 제한 없이 액션을 생성할 수 있습니다. 또한, 기사에서는 캐릭터 액션과 3차원 장면에 대한 정확하고 풍부한 주석 정보가 포함된 대규모 캐릭터-장면 상호작용 데이터 세트 TRUMANS를 공개했습니다.

• 문서 링크: https://arxiv.org/pdf/2403.08629
• 프로젝트 홈페이지: https://jnnan.github.io/trumans/
• 코드 및 데이터 링크: https ://github.com/jnnan/trumans_utils

연구 개요

                                                                                         ^{TRUMANS 데이터 세트}

장면 개체의 상호 작용은 사람들의 일상에서 중요한 부분입니다 의자에 앉기, 병 집어 들기, 서랍 열기 등의 활동. 오늘날 인체 움직임을 시뮬레이션하는 것은 컴퓨터 비전, 컴퓨터 그래픽, 로봇 공학, 인간-컴퓨터 상호 작용 분야에서 중요한 작업이 되었습니다. 인간의 움직임을 생성하는 핵심 목표는 자연스럽고 사실적이며 다양한 동적 패턴을 만드는 것입니다. 딥러닝 기술의 등장은 인간 행동 생성 방법의 급속한 발전을 가져왔습니다. 인체 모델링 기술의 획기적인 발전으로 인해 대규모 인간 행동 데이터베이스 구축이 더욱 쉬워졌습니다. 이러한 발전을 바탕으로 최근 몇 년 동안 데이터 기반 인간 행동 생성 기술이 연구계로부터 점점 더 주목을 받고 있습니다.

현재 대부분의 액션 생성 방법은 의미론을 제어 변수로 사용하며, 주어진 대화형 개체[1] 및 장면[2]에서 액션을 생성하는 연구는 주로 초기 단계에 있습니다. 고품질 인체 동작 및 장면 상호 작용 데이터 세트. 기존의 실제 장면 데이터 세트는 인간 모션 캡처 품질 측면에서 여전히 부족합니다. VICON과 같은 장치로 기록된 모션 캡처 데이터 세트는 품질 향상을 가져올 수 있지만 이러한 데이터 세트에는 3D 장면에서 인간과 개체의 상호 작용의 다양성이 부족합니다. 최근에는 가상 시뮬레이션 기술을 활용한 합성 데이터 세트가 저렴한 비용과 높은 적응성으로 인해 연구자들의 주목을 받고 있습니다.

본 논문에서는 장면과 의미 정보를 융합하는 액션 생성 프레임워크를 제안하며, 이는 자동회귀 확산 모델을 기반으로 하며, 주어진 액션 카테고리와 경로 포인트에 맞는 액션을 생성할 수 있습니다. 장면 제약에. 장면의 액션 데이터를 얻기 위해 이 작품은 현실 세계에서 캡처한 15시간의 액션 데이터를 포함하고 침실, 레스토랑, 사무실 등을 포함하는 3D 가상 장면으로 합성된 새로운 캐릭터-장면 상호 작용 데이터 세트 TRUMANS를 출시합니다. .100 장면 구성. TRUMANS는 길 찾기, 객체 조작, 단단하고 연결된 객체와의 상호 작용을 포함한 포괄적인 범위의 일상 행동을 포괄합니다.

액션 생성 프레임워크

                             ^{图 2. 本文提出的动作生成框架使用自回归机制，将场景和动作类别作为条件控制动作的生成。}

本研究提出的方法采用自回归的方式逐段生成动作。段内的起始动作源于上一段末尾，后续动作由扩散模型生成。为了使生成的动作符合场景约束，作者基于空间占有网格提出一个局部场景感知器，将每段动作终点附近环境的特征编码，并纳入动作生成模型的条件。为了将逐帧的动作标签作为可控条件纳入，动作信息编码器将时间信息整合到动作片段中，使得模型可以在任意时刻接受指令，并生成符合给定动作标签的运动。

本文提出的方法可以支持路径轨迹约束以及精确的关节位置控制。由于本文方法采用了自回归逐段生成的机制，路径和关节约束可以通过为每段动作生成设定子目标的方式实现。对于行走动作控制，每个子目标描述了当前段末尾人物骨盆在水平面的预设位置。根据当前段的起始和终止位置之间的场景信息，模型生成包含骨盆运动轨迹在内的全身动作。例如，当子目标位于椅子上时，需要让角色坐下。对于涉及物体抓握的动作，手部的位置控制也使用相同的技术。例如生成抓取瓶子或推门等动作时，将手部关节位置设为子目标，并由用户设置在物体上的期望位置。模型将关节上的噪声归零并补全其余部分的人体动作。进一步的精细接触通过优化手与物体的相对位置的方式实现。

本地场景感知器用于获取本地场景几何信息，并将其作为运动生成的条件。具体来说，给定一个场景，首先生成一个全局占用网格，每个单元格被分配一个布尔值表示其是否可达，1 表示可达，0 表示不可达。本地占用网格是以当前循环节的子目标为中心的三维网格，垂直范围内从 0 米到 1.8 米，方向与第一帧中角色骨盆的偏航方向对齐。本地占用网格的值通过查询全局占用网格获取。本文提出使用 Vision Transformer (ViT) 对体素网格进行编码。通过沿 xy 平面划分本地占用网格，将 z 轴视为特征通道来构建 Token，并将这些 Token 输入到 ViT 模型中。场景经过 ViT 编码后的输出被用作动作生成模型的条件。

与之前基于单一动作描述生成完整动作序列的方法不同，本文在生成长期动作时逐帧使用动作标签作为条件。在这个模型中，一个特定动作可能会超过一个循环节，并在多个循环节中继续。因此模型需要理解动作执行的进程。为了解决这个问题，本研究引入了一个进度标识符，用于支持逐帧的动作类别标签。具体实现方式为在原始 multi-hot 动作标签上，对每段完整的交互添加一个 0 到 1 之间随时间线性增长的数。这样的操作使得模型能够应对跨多个循环节的动作，增强生成动作序列的语义完整性和连续性。

数据集

数据方面，本文发布了全新的人物 - 场景交互数据集 TRUMANS，精确地复制了 3D 合成场景到物理环境中，兼具数据质量与规模；包括 15 小时的长序列人体动作捕捉，配套 100 个室内场景，类别包含卧室，客厅和办公室等。尽管场景是合成的，作者通过对每个合成场景的细致还原，确保了人与物体之间的交互保持自然且精确。TRUMANS 动作涵盖日常人物行为，包括寻路、抓取，以及与刚性和铰接物体的交互。为了进一步提高数据的可扩展性，本文应用了一种基于现有数据进行数据增强方式，使得数据集中的物体可以在一定范围内改变位置和尺寸，并自动更新人物动作以匹配变化。

                            ^{图 3. TRUMANS 动作捕捉数据集}

                            ^{图 4. 根据变化的物体尺寸自动调整动作，高效扩展数据规模}

实验结果

下面是本文所提出的动作生成方法的应用场景示例。

（1）基于给定的路径关键点，本文方法能够生成多样的场景中行走动作，且人物对场景中的障碍物有自然的反馈。

（2）本文方法适用于手持小物体的抓取和交互动作生成。例如走近并抓取放置于桌子上的水瓶，并做出喝水的动作。完成过程中需要根据场景布局调整动作。

（3）基于给定手部运动轨迹，生成满足该轨迹的全身动作，且不与场景中的物体发生冲突。

                             ^{图 5. 动作生成的多样性展示}

                             ^{图 6. 给定手部运动轨迹和场景的全身动作生成}

                            ^{图 7. 手持小物体的交互动作生成}

为了量化本文方法的性能，作者根据交互物体可动与否构建了两套评价体系。对于静态交互物体，本文评测的动作包含坐，躺，以及在场景中的走动。评测指标主要针对动作是否与场景发生穿模，脚部滑动，以及被试对生成质量的主观评价。而对于动态交互物体，本文关注抓握的过程以及后续的交互动作。评价指标量化了动作是否符合给定的类别，动作的多样性，穿模程度，以及被试主观评价。此外，研究还对比了使用 TRUMANS 以及现有的 PROX 和 GRAB 数据集训练得到的动作生成质量。实验结果证实了本文所提方法的优越性，以及 TRUMANS 数据对人物 - 场景交互生成任务带来的全面质量提升。

                                ^{表 1-2. 动态与静态物体交互动作生成结果在不同方法和数据集训练结果的比较}

위 내용은 CVPR'24 하이라이트 | 손의 움직임까지 캐릭터의 움직임을 생성하는 하나의 프레임워크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!