并行人体姿态估计专利：微软AR/VR技术实现虚拟表示

（映维网Nweon 2023年11月13日）关于人类用户姿势的信息可以映射到虚拟铰接表示。例如，当参与虚拟现实环境时，人类用户在虚拟环境中的表现会呈现出与现实世界姿势相似的姿势。用户的真实世界姿态可以通过先前训练的模型转换为虚拟铰接表示的姿态，模型可以训练为输出用于最终渲染的相同虚拟铰接表示姿态。

有时候系统需要展示不真实的表现。例如，用户可以选择不同身体比例、骨骼或其他方面的卡通角色

根据图1所示，真实世界环境102中的人类用户100被展示出来。可以看到，人类用户的姿势被应用到铰接表示104上。换句话说，当人类用户在真实世界环境中进行活动时，相应的动作会转化为虚拟环境106中铰接表示104的运动

有时候，虚拟铰接表示与用于训练模型的表示可能不同，需要进行重新编写。为了解决这个问题，微软专利“Concurrent human pose estimates for virtual representation”介绍了一项技术，能够同时估计模型铰接表示和目标铰接表示的姿态

具体来说，计算系统至少部分地基于来自一个或多个传感器的输入，接收人类用户一个或多个身体部位的详细参数的定位数据。这些传感器可以包括头显的惯性测量单元输出，以及适当摄像头的输出

重写后的内容为：系统会同时维护一个或多个与目标关节表示相关联的模型关节表示的映射约束，例如关节映射约束。姿态优化机会通过定位数据和映射约束，同时估计模型关节表示的姿态和目标关节表示的目标姿态。一旦完成估计，系统可以将目标关节表示和目标姿势一起显示为虚拟表示，供人类用户查看

姿态优化机可以使用具有用于模型铰接表示的ground truth标签的训练定位数据进行训练。然而，训练定位数据可能缺乏目标铰接表示的ground truth标签。

通过这种方法，可以有效地实现对真实世界姿态的准确再现，而无需对每个不同的潜在目标进行昂贵的训练计算。这种技术的发明描述可以对人类用户产生积极的影响

当用户参与虚拟环境时，他们可以选择不同的Avatar来代表自己，并且可以在交流过程中随时改变外观。可以将新的目标铰接表示添加到可供用户选择的表示菜单中，而无需为特定表示重新训练模型，从而节省计算费用

发明描述的技术可以提供减少计算资源消耗的技术优势，同时准确地重新创建人类用户的真实世界姿势，并允许将准确的姿势应用于多个不同目标铰接表示中的任何一个。具体方法是通过同时估计目标和模型的姿势。

在图2中展示了用于虚拟表示人体姿势的示例方法200

在202，基于来自一个或多个传感器的输入，接收人类用户的一个或多个身体部位的详细参数的定位数据。

在204年，需要维护一个或多个与目标铰接表示相关的映射约束，以保证模型的连结。如图4所示，展示了一个示例模型铰接表示400

如上所述，目标铰接表示呈现用于在虚拟环境中显示，并且可以通过姿态优化机输出目标姿态来显示。例如，目标铰接表示可以具有任何合适的外观和比例，并且可以具有任何合适数量的肢体、关节和/或其他可移动的身体部位。

可以将其改写为：目标铰接表示可以代表非人类动物、虚构角色或任何合适的Avatar。模型铰接表示和目标铰接表示通过一个或多个映射约束402进行关联

一个或多个映射约束可以包括联合映射约束404。对于目标铰接表示的关节，关节映射约束指定模型铰接表示中的一组一个或多个关节。例如，模型铰接表示400包括多个关节，其中两个标记为403A和403B，其对应于肩关节和肘关节。

104号目标铰接包括类似的关节405A和405B。因此，目标表示的关节405A和405B可能有多个不同的关节映射约束，表示这些关节映射到模型表示的关节403A和403B

关节映射约束可以进一步指定每个模型关节在映射到目标关节表示时的权重。例如，当模型的铰接表示只有一个关节映射到目标铰接表示的特定关节时，该模型关节的权重可能为100%。而当两个模型关节映射到目标关节时，两个模型关节的权重可以是50%和50%、30%和70%、10%和90%等

在图2中，方法200通过对先前训练的位姿进行优化，同时估计模型铰接表示的模型位姿和目标铰接表示的目标位姿。模型位姿和目标位姿的估计至少部分依赖于定位数据

图5A示意性地示出了位姿优化机500的示例，其可以作为计算机逻辑组件的任何合适组合来实现。作为一个非限制性示例，位姿优化机500可以实现为如图6所述的逻辑子系统602。

如图5A所示，姿态优化机同时估计模型铰接表示的模型姿态502A和目标铰接表示的目标姿态502B。这至少部分地基于定位数据504和一个或多个映射约束506来完成。

姿态估计可以至少部分地基于在一个或多个先前时间框架估计的一个或多个先前模型姿态和先前目标姿态来完成。因此，位姿优化机器500存储多个先前的位姿506，其可以表示为每个模型关节的多个局部旋转。

一个或多个映射约束可以包括位姿连续性约束，它施加帧对帧的限制，限制给定关节的局部旋转可以从一个帧改变到另一个帧的程度。 可以将一组映射约束应用于位姿连续性，通过限制帧与帧之间的变化程度，来约束给定关节的局部旋转

图5B以示意的方式展示了将估计的模型和目标姿态应用于模型和目标铰接表示的过程。具体来说，图5B再次展示了模型铰接表示400和目标铰接表示104对应的默认姿态407A和407B。然后，通过改变铰接的方向，使得模型铰接表示400假设模型姿态502A，目标铰接表示104假设目标姿态502B

在姿态优化中，需要同时估计模型的位姿和目标的位姿。换句话说，与其他方法不同，姿态优化机不是先输出模型的姿态表示，然后将其转换为目标的姿态表示。相反，姿态估计是同时找到满足一组约束的模型姿态和目标姿态的过程

例如，模型铰接表示的姿态可以受到姿态优化机器的先前训练的约束，以输出给定一组定位数据的可能的人类姿态，并且目标铰接表示的姿态可以受到将目标铰接表示与模型铰接表示相关联的一个或多个映射约束的约束。

另外，在先前的训练中，姿态估计可以由执行姿态优化的机器学习模型508来实现。在一个实例中，姿态优化机可以被配置为基于稀疏输入定位数据输出姿态。换句话说，姿态优化机可以通过训练来输出更准确的姿态估计，这取决于在运行时接收到的更多输入参数

换句话说，姿态优化机接收到的定位数据可能包含人类用户的n个关节的旋转参数。在之前的训练中，姿态优化机接收的是n+m个关节的旋转参数作为输入，其中m大于1。然后，估计模型的姿态可以通过估计模型铰接表示的n+m个模型关节的旋转参数来确定，至少需要基于n个关节的旋转参数，而不需要基于m个关节的旋转参数

另外，训练姿态优化机时，不需要包括目标铰接表示的ground truth标签。相反，通过一个或多个映射约束，将标铰接表示与模型铰接表示相关联，通常将目标姿态约束为与模型姿态基本相似

微软指出，采用上述技术，过程的速度可以有益地提高两个数量级。这可以实现模型和目标姿态的实时并发估计，而无需使用专门的硬件加速。

在图2中，方法200包括输出具有目标姿态的目标铰接表示作为人类用户的虚拟表示以供显示，该步骤发生在208。例如，在图1中，目标铰接表示104通过电子显示设备108进行展示。用于展示目标铰接表示的显示装置可以采用任何适当的形式，并且可以使用任何适当的底层显示技术

相关专利：Microsoft Patent | Concurrent human pose estimates for virtual representation

名为“Concurrent human pose estimates for virtual representation”的微软专利申请最初在2022年4月提交，并在日前由美国专利商标局公布。

以上是并行人体姿态估计专利：微软AR/VR技术实现虚拟表示的详细内容。更多信息请关注PHP中文网其他相关文章！