MIT、CMU等新研究，编辑类级别的NeRF，可修改对象颜色或形状

 收藏

关键词：新研究

资讯来源：机器之心

发布时间： 2021-08-28

选自arXiv

作者：Steven Liu等

机器之心编译

机器之心编辑部

可以更准确地捕获对象类的形状和外观，然后再描述如何更新网络权重以实现颜色和形状编辑效果的神经网络架构。

神经辐射场（NeRF）是一种场景模型，支持高质量的视图合成，并对每个场景进行优化。在本篇论文中，来自 MIT、 Adobe Research 、CMU 的研究者探索了允许用户能够编辑类别级别的 NeRF，也被称为条件辐射场，在一个形状类别上进行训练。具体而言，研究者提出了一种将粗糙的 2D 用户涂鸦传播到 3D 空间以修改局部区域的颜色或形状的方法。

它的效果是这样的，可进行颜色编辑：

还能进行形状编辑，消掉了转椅的两个轮子：

操作过程：

首先，研究者提出一个条件辐射场，其中包含新的模块化网络组件，比如在类别中的对象实例之间共享的一个分支。通过观察同一类别的多个实例，模型无需任何监督即可学习潜在部分语义，从而允许粗糙的 2D 用户涂鸦以一致的方式传播到整个 3D 区域（例如，座椅）。

接下来，研究者调查了网络组件需要更新的编辑任务，并提出了一种针对后期网络组件的混合网络更新策略，平衡了效率和准确率。在用户交互过程中，研究者又提出了一个既要满足用户的约束又要保留原始的对象结构的优化问题。

研究者演示了在三个形状数据集上进行各种编辑任务的方法，并表明它优于以往的神经编辑方法。最后，研究者编辑真实照片的外观和形状，并显示该编辑传播到推断出的新视角视图。

论文链接：https://arxiv.org/pdf/2105.06466.pdf
GitHub 地址：https://github.com/stevliu/editnerf
视频链接：https://www.youtube.com/watch?v=9qwRD4ejOpw

条件辐射场

研究者的目标是允许用户编辑 3D 场景的连续体积表征。研究者首先描述了一种新的神经网络架构，该架构可以更准确地捕获对象类的形状和外观，然后再描述如何更新网络权重以实现颜色和形状编辑效果。

为了实现这一目标，研究者基于神经辐射场（NeRF）表征法上展开构建。而 NeRF 表征法可以渲染特定场景的新视角视图，能够对整个形状类进行编辑，例如椅子。

此外，研究者学习扩展了带有潜在形状和外观向量的 NeRF 表征法的条件辐射场模型，使用属于一个类的一组形状训练了表征，其中每个形状实例由潜在的形状和外观向量表征。形状和外观的解脱使研究者能够进行修改编辑过程中的部分网络。

方法

为了将稀疏的 2D 用户涂鸦传播到新视角视图，研究者通过在多个对象实例上训练单个辐射场来学习看起来合理的对象。

研究者的架构以两种方式建立在 NeRF 上：

首先，研究者为每个实例引入形状和颜色代码，从而允许单个辐射场表征多个对象实例；

其次，研究者引入一个独立于实例的形状分支，用来学习对象类别的通用表征形式。

由于采用了模块化架构设计，因此在编辑过程中只需修改网络的少数组件即可有效地执行用户编辑。

在上图所示的方法中，研究者通过更新网络中特定的层既保证了效率性，又实现了准确性。为了减少计算量，研究者仅微调了网络中后面的层。因此，无须整个网络，只用后面的层计算梯度就可以加速优化。

实验结果

颜色编辑

下图展示了传播稀疏的 2D 用户涂鸦来填充对象区域，从而在视图之间始终呈现编辑效果的渲染实验结果。用户提供一种颜色、y 区用于域改变的前景色、用于区域保持不变的背景色。为了进行编辑，研究者优化了基于重建的损失，以鼓励模型更改前景色的颜色，但保持背景涂鸦的颜色不变。

形状编辑

下图展示了 2D 用户编辑以删除或添加对象部分，从而在视图之间一致地传播 2D 编辑的结果。为了去除形状，用户在要去除的对象区域上标记。为了进行去除，研究者同时优化了重建损失和基于密度的损失，从而鼓励模型去除涂鸦区域的密度。对于形状添加，用户选择要粘贴到实例中的对象部件。为了进行添加，优化了类似于用于颜色编辑的重建损失。

颜色和形状的转换

下图的实验结果表明了通过在实例之间交换颜色和形状代码，研究者的方法可以在对象实例之间转换形状和颜色。尽管模型的颜色输出在功能上取决于形状代码，但研究者观察到更改形状代码会使「椅子」的颜色保持不变。

在真实图像上的应用

下图的实验结果表明了研究者的方法可以将条件辐射场微调为单个真实图像，能够渲染真实对象实例的新视角视图，并对实例进行颜色和形状编辑。

总结

在本篇论文中，作者介绍了一种从 3D 对象集合学习条件辐射场的方法。此外，作者展示了如何使用学到的分离式表征来执行直观的编辑操作。

当然，作者的方法有一定的局限性：形状编辑的交互性。当前，用户需要一分钟以上的时间才能获得其形状编辑的反馈。编辑操作的大部分计算都花在渲染视图上，而非编辑本身。但作者肯定 NeRF 的渲染时间改善会对此有所帮助。另一个局限性是作者的方法没能成功重建与其他类实例非常不同的新视角对象实例。

尽管有这两点局限性，作者的方法仍为探索其他高级编辑操作开辟了新途径，例如重新照明和更改动画对象的物理属性。

与吴恩达共话ML未来发展，2021亚马逊云科技中国峰会可「玩」可「学」

2021亚马逊云科技中国峰会「第二站」将于9月9日-9月14日全程在线上举办。对于AI开发者来说，9月14日举办的「人工智能和机器学习峰会」最值得关注。

当天上午，亚马逊云科技人工智能与机器学习副总裁Swami Sivasubramanian 博士与 AI 领域著名学者、Landing AI 创始人吴恩达（Andrew Ng ）博士展开一场「炉边谈话」。

不仅如此，「人工智能和机器学习峰会」还设置了四大分论坛，分别为「机器学习科学」、「机器学习的影响」、「无需依赖专业知识的机器学习实践」和「机器学习如何落地」，从技术原理、实际场景中的应用落地以及对行业领域的影响等多个方面详细阐述了机器学习的发展。

点击阅读原文，立即报名。

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com