ECCV 2022 | 摆脱部件标签依赖，上科大&ZMO.AI提出分部件3D人体重建与驱动新方法UNIF

新方法 UNIF 借助简洁有效的初始化和正则化手段，使分部件重建方法摆脱对部件划分标签的依赖；通过显式地建模部件之间的相互作用，显著提升了分部件重建方法对人体姿态的泛化能力。

长期以来，三维重建一直以网格模型为主流表达，但受限于固定的拓扑结构和离散的形状表达。神经隐式函数因其灵活的拓扑结构和连续的表达空间在形状重建领域受到追捧。

在人体形体的重建和驱动领域，近期方法普遍将网格模型替换成神经隐式函数作为形状表达，并沿用在网格模型中普遍运用的线性蒙皮算法（LBS）进行人体驱动。但这一做法忽视了将 LBS 应用在神经隐式函数上的种种问题，比如，需要另外学习一个蒙皮权重函数来定义连续空间中任意一点的蒙皮权重。而在逆向蒙皮过程中，蒙皮权重函数需要随着人体姿势的变化而改变，表现出十分有限的动作泛化能力。

相比于上述整体建模的方式，分部件重建的方法尚缺乏探索。这类方法为人体的每个部分学习一个独立的全连接网络（MLP），将每个网络表达的形状绑定在各个骨骼上，能够更好地保持形体的局部刚性。但是，分部件重建的方法往往需要部件划分的标注数据，在应用场景上受限；同时，部件之间的融合很困难，不可避免地出现部件的重叠或断裂，在动作泛化能力上始终劣于整体重建的方法。

为此，上海科技大学和 ZMO.AI 的研究者提出了一套分部件人体重建和驱动的方法 UNIF，借助简洁有效的初始化和正则化手段，使分部件重建方法摆脱对部件划分标签的依赖。通过显式地建模部件之间的相互作用，显著提升了分部件重建方法对人体姿态的泛化能力。ZMO.AI 是国内头部内容生成初创公司，专注于 AI 文字生成内容 Yuan初 创作平台的搭建。该论文已被 ECCV 2022 接收，并公开了代码。

• 论文链接：https://arxiv.org/abs/2207.09835
  

• 代码链接：https://github.com/ShenhanQian/UNIF

• 项目主页：https://shenhanqian.com/unif

• Yuan初 创作平台：https://yuan.zmoai.cn/