论文阅读：“Appearance Capture and Modeling of Human Teeth”

Abstract

如果要为电影，游戏或其他类型的项目创建在虚拟环境中显示的人类角色，我们通常需要获取人体的几何表示及其散射参数（用于表达人体几何表示与场景光线之间的交互）。牙齿不仅需要通过光与表面的交互来定义，同时需要通过其内部几何形状和口内环境来定义，所以这提出了一个独特的挑战。

因此，迪士尼提出了一种专门用于捕捉真人牙齿光学特性的系统，用以支持在计算机图形中重新渲染它们。研究人员在传统的多相机与光源设置中获取的口腔内环境数据，并且利用了口腔扫描的精确几何形状。为了模拟反向渲染期间口腔中光线的复杂相互作用，他们采用了基于衍生路径追踪的新型管道来参照牙齿表面的光学性质和几何形状。

迪士尼指出，最终的外观能够忠实地还原真人牙齿，并且可直接用于传统的路径追踪框架以渲染虚拟人类。

Introduction

尽管相关领域已存在大量的研究，特别是在医疗牙科领域，但捕捉牙齿形状及其在口腔内的位置，并且获取它们的光学性质一直是个挑战。

每个人的牙齿都会因为个人习惯、年龄、社会经济背景等呈现出独特的特征。尽管现在绝大多数的口扫设备可以捕捉颜色信息，但它们不能表达出牙齿的一些复杂光学特性，因此展现的结果很不自然，如下图所示。

牙齿的散射特性由其最外层的两种光学特性迥异的材料决定，如下图所示：

内核由牙本质（dentin）构成，牙本质对色度的影响最大，也是牙齿发亮的原因。牙本质上覆盖着一层厚度不等的牙釉质（enamel）。牙龈处的牙釉质通常较薄，而牙尖处的牙釉质较厚，这就造成了色度的渐变。牙釉质是一种结构致密的材料，但比牙本质薄。它具有高度的半透明性。

在微观层面上，牙釉质是由从牙本质向表面延伸的棒状物（enamel rods）形成的，会造成强烈的各向异性光传播。半透明的牙釉质显示出乳白色的特征，使牙齿在蓝色光谱中产生反向散射，因此从另一面看会呈现红黄色。牙齿表面的变化、裂纹、污渍和其他瑕疵也为牙齿外观增添了一层丰富的视觉效果。

迪士尼团队补充了现有的形状重建方法，如口腔内扫描或口腔外适配。他们利用了通过口腔内扫描和片段获取的几何参数，并根据 Wu 等人的说法（Model-Based Teeth Reconstruction，牙齿重建方面开创性的一篇文章，值得阅读）等方法从多个视角和多种照明条件对嘴部区域进行成像，通过这种方法获取了外观数据。

为了模拟口腔内光线的复杂交互和牙齿体积，迪士尼团队利用了一个修改过的路径追踪框架来估算导数与优化参数的关系，并同时执行常规渲染。基本上，他们的方法迭代解决了整个可见场景下的辐射传递整数。此外，文章不仅只是优化了散射参数（反照率，密度，表面纹理），同时还优化了几何参数（牙本质表面形状）。研究人员根据基本的牙釉质形状建模了牙本质形状，并将其作为一组变形，从而能够在优化循环中以参数进行控制。

迪士尼利用了从口腔科获取的一颗坏死牙齿来验证他们的解决方案，并进一步应用于实际的被试身上（如下图）。他们指出：“在这两种情况下，我们的方法都能够逼真地创建了牙齿的整体外观。由于应用于优化循环的主要框架是基于路径追踪，由此得到的参数只需小幅度的修改即可用于重新渲染牙齿。”

[Various comparisons of our recovered teeth appearance parameters rendered next to corresponding reference images, from different viewpoints and lighting conditions. Reference images are on the left for individual teeth comparisons, and above for full teeth rows.]

Method Overview

光线在与牙齿相互作用时会经过许多路径。首先，光线与表面相互作用，表面的特点是有一个粗糙的电介质层（dielectric layer），然后被反射或折射到内部。内部的相互作用主要由牙齿的两层决定：牙釉质和牙本质。因此，研究人员确定了定义牙齿外观的三组参数：表面反射率和透射率、次表面散射参数和内部牙本质形状。该方法旨在得出一组合理的模型参数，以便在牙齿相对于口腔被外部照射的情况下进行高质量的渲染。

Teeth Appearance Model

Enamel

牙釉质边界是牙齿的外部边界，以三角形网格建模。为了模拟光与空气-牙釉质边界的相互作用，文章中使用了改进版的光滑介质 BSDF，它采用了用 "薄 "电介质层分隔空气和牙釉质的概念。

BSDF（双向散射分布函数）是一个在计算机图形学和物理光学中使用的术语，用于描述一个表面如何散射和吸收光线。BSDF可以看作是一个函数，它接受入射光的方向和表面材料的特性，然后返回一个值，这个值表示了从该方向入射的光线在被表面散射后，在特定方向上离开表面的强度。

更具体地说，BSDF 定义了从入射方向（${\omega }_i$）到出射方向（${\omega }_o$）的光线散射概率密度。

Dentin

牙釉质层的厚度在很大程度上影响着到达牙齿牙本质的光量，因此对整体外观有重大影响。文章使用一组变形定义的混合形状模型来模拟牙釉质-牙本质界面，从而改变厚度：
$$V=B_0+c\cdot (B-B_0{)}^T$$其中，$B$ 代表混合形状模型，$B_0$ 为初始模型，$c$ 则为向量权重。通过实验，研究人员得出结论：三种模式就足以捕捉到牙釉质厚度差异引起的散射的大部分可见变化。这些模式代表了典型牙齿空间中沿三个主要轴线的变形；如下图所示。

Gingiva and oral cavity

牙龈以及整个口腔确实对牙齿的外观有间接影响，因为它们会将皮肤色光散射到牙齿上。为了解释这种散射光，防止优化预测出有色牙齿，必须对其进行建模。

牙龈的模型是一个三角形网格，包裹着牙根的外部边界。由于可以直接观察牙龈，因此这里使用与牙釉质相同的参数集，通过数值优化提取牙龈的外观，折射率固定不变（$\eta =1.33$）。

口腔高度闭塞，难以捕捉，但由于光线从口腔壁反弹并照亮阴影区域，因此对外观影响很大。文章使用了一个替代网格（substitute mesh），将漫反射设置为自由参数。其起点是通过相似性理论和之前优化牙龈散射参数得出的平均值。

Data Acquisition

Image capture

为了获得准确的外观参数，研究人员需要对入射光和出射光的方向进行密集采样。为此，在一个由 155 盏灯（每盏灯都是 RGB LED 三连灯）组成的光罩中拍摄每名志愿者，每盏灯距离牙齿约一米。由于头部的 occlusions，研究人员记录了 54 盏灯的图像，涵盖了所有可见的入射方向。

研究人员用三台彩色摄像机（Ximea CB200CG）捕捉多视角图像，摄像机安装在灯罩边缘，配有长镜头，以最大限度地提高牙齿的分辨率，记录 2000 万像素的图像，并与各个灯的激活同步。

Geometry capture

仅凭捕捉到的图像不足以进行外观优化，因为还需要了解牙齿的几何形状。虽然存在轻量级的牙齿重建方法，但它们无法恢复牙齿背面的准确形状，只能在图像覆盖率较低的地方假设牙齿的形状。由于需要评估 volumetric light paths，因此研究人员需要精确的牙齿四面边界。

研究人员使用口内扫描仪对志愿者的牙齿进行专业扫描。为了分割扫描中的牙齿并将它们从牙龈中分离出来，文章使用了 Wu 等人 [3] 描述的半自动模板拟合方法将模板牙齿网格与扫描几何图形对齐。由于牙齿的外观与牙龈紧密相连，研究人员还根据扫描结果对牙龈的几何形状进行了艺术建模。最后，通过手动选择一组稀疏的 corresponding landmarks 并求解刚性变换，将得到的牙齿几何形状和牙龈模型与相机坐标框架对齐。

Results

References

[1] Velinov, Z., Papas, M., Bradley, D., Gotardo, P., Mirdehghan, P., Marschner, S., … & Beeler, T. (2018). Appearance capture and modeling of human teeth. ACM Transactions on Graphics (ToG), 37(6), 1-13.
[2] “迪士尼提出了一种专门用于逼真捕捉真人牙齿光学特性的系统”，映维网，https://www.sohu.com/a/285369063_213766
[3] Wu, C. , Bradley, D. , Garrido, P. , Zollhfer, M. , Theobalt, C. , & Gross, M. , et al. (2016). Model-based teeth reconstruction. International Conference on Computer Graphics and Interactive Techniques. ACM.