腾讯提出一种新的针对风格化角色和逼真服装动画的生成3D运动转移方法，生成效果逼真！
来自腾讯XR视觉实验室的研究团队提出了一种创新的3D运动转移方法，专门针对风格化角色和逼真服装动画的生成。该方法能够将源动作准确地映射到目标角色上，同时考虑了角色身体的刚性变形和服装的局部物理动态变形。
与现有技术相比，这技术不仅关注于角色身体的变形，还特别强调了服装的逼真动画效果，解决了以往技术中常见的服装细节不足和不真实现象，如身体与服装穿透等。
我们提出了一种新的方法，将源运动转移到目标风格化的角色上，生成逼真的服装动画。
相关链接
代码地址：https://github.com/rongakowang/MMDMC
论文地址：https://arxiv.org/abs/2407.11266
AMASS数据：https://amass.is.tue.mpg.de/download.php
SMPLH数据：https://mano.is.tue.mpg.de/download.php
论文阅读
走向高质量的3D运动传输与现实服装动画
摘要
为风格化角色制作动画以匹配参考动作序列是电影和游戏行业中一项要求很高的任务。现有方法主要关注角色身体的刚性变形，而忽略了由物理动力学驱动的服装局部变形。它们以与身体相同的方式变形服装，导致结果细节有限且不切实际，例如身体与服装的穿透。
相比之下，我们提出了一种新颖的方法，旨在通过逼真的服装动画实现高质量的运动传输。由于现有数据集缺乏生成逼真服装动画所需的注释，我们构建了一个名为 MMDMC 的新数据集，它将来自 MikuMikuDance 社区的风格化角色与现实世界的动作捕捉数据相结合。然后，我们提出了一个数据驱动的管道，通过两个神经变形模块学习解开身体和服装的变形。
对于身体部位，我们提出了一个测地线注意块，以有效地将语义先验纳入骨骼身体变形中，以解决风格化角色的复杂身体形状。由于服装运动可能与各个身体关节有显著偏差，我们建议在非线性顶点位移场中根据其历史状态对服装变形进行建模。大量实验表明，我们的方法可以为各种类型的服装提供优质的结果
方法
方法说明。给定一个输入角色 (a)，我们的目标是按照参考 3D 运动 (b) 对其进行动画处理并产生目标结果 (c)。以前的方法大多预测与身体关节相关的蒙皮权重 (d)，并通过 LBS 方法 (e) 对整个角色进行变形，本质上将服装与身体同等对待。这种方法缺乏视觉细节，并且通常包含不切实际的伪影，例如身体与服装的穿透。相比之下，我们提出了一种新颖的流程，通过服装分割 (f) 区分服装顶点 (红色)，然后明确建模其局部变形，从而产生逼真的服装动画 (g)。
与现有数据集的比较。现有的数据集大多提供了身体部位的索具，而服装没有详细的索具，因此服装不能独立变形。相比之下，我们的数据集包含密集的服装装备，从而实现逼真的地面真实服装动画。
方法概述。 给定输入字符V(具有已知的关节位置)，我们的模型首先在服装分割模块中区分身体(B，蓝色)和服装(A，红色)顶点。在参考关节运动T(T)的情况下，我们提出了一个测地线注意块来估计蒙皮重量W，并通过LBS方法使身体变形。此外，我们建立了基于历史状态和关节运动的非线性服装位移模型。最后，我们共同改进两个模块的输出，以获得总体结果 V*(t)。
实验
数据集
我们在两个数据集上评估了我们的方法:MMDMC和Mixamo。我们随机选择5个字符，并对未见过的动作片段进行测试以进行评估。由于Mixamo数据集不提供服装的真实分割、装配和物理属性，因此不适合进行定量比较。另外，我们随机选择穿衣服的类人角色来定性地评估我们方法的可泛化性。
定性比较。我们的方法产生的结果优于基线方法，后者都包含身体或服装上的人工制品(在圆圈中)。此外，我们生成了更逼真的服装结果，如右边红色突出显示的(使用gt服装掩模来一致地可视化基线方法)。
概括性评价。Mixamo数据集中的服装动画包含人体服装穿透的工件。相比之下，我们的预训练模型可以推断出合理的服装面具，从而提高服装的真实感。
输出可视化。我们将中间模块的输出可视化，并比较不同设计变体的结果。所提出的测地线注意块可以有效地从嘈杂的原始测地线距离中进行细化，以估计复杂角色网格上的一致蒙皮权重，而服装分割网络可以估计准确的服装蒙版。我们表明，仅使用身体模块会产生不切实际的身体服装穿透结果，而引入服装模块可以细化服装结果，但是，我们观察到身体服装边界的不连续性。相比之下，完整模型可以有效提高整体质量。
结论
局限性和社会影响。 尽管我们的方法取得了优异的成果，但我们依赖于艺术家设计的服装索具和物理属性的监督，这需要大量的手动工作。此外，我们只考虑具有统一骨架的风格化人形角色的服装，而没有对其他类型的角色（例如四足动物）进行建模。此外，变形模块的故障可能会导致身体和服装部位破损，或不适合公众观看的着装不当。
结论。 在本文中，我们提出了一种新颖的方法，用于通过逼真的服装动画进行高质量的运动传输。我们创建了一个带有详细服装注释的新数据集 MMDMC，以促进服装分割和变形的学习。此外，我们引入了一个测地线注意块，将语义先验纳入骨骼身体变形中，并设计了一个服装变形模块来模拟服装的非线性局部变形。由于这些努力，我们的方法有效地在各种角色和服装上产生了优异的结果。