论文阅读笔记——EWA Volume Splatting

EWA 论文

背景

光强公式：
$$I_{\lambda }(\hat{x})={\int }_0^L{c}_{\lambda }(\hat{x},\xi )g(\hat{x},\xi )e^{-{\int }_0^{\xi }g(\hat{x},\mu )d\mu }d\xi (1)$$

• $I_{\lambda }(\hat{x})$：波长为 λλ 的光线在屏幕坐标 $\hat{x}$ 处的光强。
• $c_{\lambda }(\hat{x},\xi )$：发射系数，表示在位置 ξ 处沿光线发射的光强。
• $g(\hat{x},\xi )$：消光函数，表示光线在位置 ξ 处被吸收的速率。
• 指数项 $e^{-{\int }_0^{\xi }g(\hat{x},\mu )d\mu }d\xi$：衰减因子，表示光线从起点到 ξ 处的衰减。

然后假设消光函数是离散的：
$$g(x)=\sum _k{g}_k{r}_k(x)(2)$$

• $r_k(x)$ 是第 k 个粒子的重建核函数

再用泰勒展开的前两项近似指数函数，即 $e^x\approx 1-x$，忽略自遮挡，认为在核函数区域内的发射系数 $c_{\lambda }$ 是常数，可得下式：
$$\begin{array}{r}{I}_{\lambda }(\hat{x})=\sum _k{c}_{\lambda k}(\hat{x})g_k{q}_k(\hat{x})\prod _{j=0}^{k-1}(1-g_j{q}_j(\hat{x}))(3)\\ q_k(\hat{x})={\int }_R{r}_k(\hat{x},x_2)d{x}_2(4)\end{array}$$

• $q_k(\hat{x})$ ：核函数 $r_k(x)$ 沿视线射线的积分，称为足迹函数（Footprint Function）。
• x2：表示投影中心到观察射线上某点的欧几里得距离。

沿着观察光线的每个采样点都是可以通过二维卷积计算出，而光线投射方法需要对每个采样点进行三维卷积；通过预积分核函数，将三维卷积转化为了二维卷积，这也是 splatting 的高效之处。

EWA

Background

对于高频信号（颜色、动画等）如果采样频率不足，会出现混叠，导致锯齿状、视觉伪影等。从信号处理而言，在连续函数被采样到采样网络之前，对其进行带限处理。
采用一个低通滤波器 $h(\hat{x})$ 对 $I_{\lambda }(\hat{x})$ 进行卷积：
$$(I_{\lambda }\otimes h)(\hat{\mathbf{x}})={\int }_{{\mathbb{R}}^2}\sum _k{c}_{\lambda k}(\eta )g_k{q}_k(\eta )\prod _{j=0}^{k-1}\left(1-g_j{q}_j(\eta )\right)h(\hat{\mathbf{x}}-\eta )d\eta .(5)$$
尽管式（5）是一个连续函数，但在实际处理中，这个函数只能在离散处（像素中心）求值，故而做两个假设：1）对 $q_k$ 的支持区域内所有 $\hat{X}$ 有 $c_{\lambda k}(\hat{X})\approx c_{\lambda k}$ 。2）每个重建核的完整三维支持区域内发射系数恒定（抗锯齿的常见方法）。此外，假设衰减系数在每个足迹函数的支持中有一个近似恒定值 $o_k$ ：
$$\prod _{j=0}^{k-1}(1-g_j{q}_j(\eta )\approx o_k(6)$$
由此将式（5）改写为：
$$(I_{\lambda }\otimes h)(\hat{\mathbf{x}})=\sum _k{c}_{\lambda k}{o}_k{g}_k(q_k\otimes h)(\hat{\mathbf{x}})(7)$$
假设：${\rho }_k(\hat{X})=(q_k\otimes h)(\hat{x})$ 是一个理想的重采样滤波器，结合了足迹函数 $q_k$ 和低通核 h。

EWA Resampler

选择椭圆高斯核作为重建核和低通滤波器：

• 高斯函数在仿射和卷积下封闭，沿着一个坐标轴积分一个 3D 高斯函数得到一个 2D 高斯函数
  定义以 p 为中心，方差矩阵为 V 的椭圆高斯函数：$|V|$ 是 V 的行列式
  $${\mathcal{G}}_V(x-p)=\frac{1}{2\pi |V{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-p{)}^T{V}^{-1}(x-p)}(8)$$

在体绘制核的情况下，${\mathcal{G}}_{\mathcal{V}}$ 是一个 3D 函数，V 是一个 3×3 的对称矩阵，x 和 p 是列向量 $(x_0;x_1;x_2{)}^T$ 和 $(p_0;p_1;p_2{)}^T$。

定义仿射变换 $\Phi (x)=Mx+c$，将 $x={\Phi }^{-1}(u)$ 代入式（8），对具有方差矩阵的 V 和 Y 进行卷积，会得到一个具有方差矩阵 V+Y 的高斯函数，并且沿着一个坐标轴积分可得：
$$\begin{array}{rl}& {\int }_R{\mathcal{G}}_V(x-p)d{x}_2={\mathcal{G}}_{\hat{V}}(\hat{x}-\hat{x})(9)\\ & V=\left(\begin{array}{ccc}a& b& c\\ b& d& e\\ c& e& f\end{array}\right)\iff \left(\begin{array}{cc}a& b\\ b& d\end{array}\right)=\hat{V}\end{array}$$

定义高斯重建核 $r_k^{{}^{\prime \prime }}(t)={\mathcal{G}}_{V_K^{{}^{\prime \prime }}}(t-t_k)$ ，$t_k$ 是对象空间中体素的位置。用向量 $u=(u_0;u_1;u_2{)}^T$ 表示相机坐标，仿射映射 $u=\varphi (t)$ 将对象坐标转换为相机坐标，称为视图转换，利用以上将重建核转换到相机空间：
$$\begin{array}{r}{\mathcal{G}}_{{\mathbf{V}}_k^{\prime \prime }}({\phi }^{-1}(\mathbf{u})-{\mathbf{t}}_k)=\frac{1}{|{\mathbf{W}}^{-1}|}{\mathcal{G}}_{{\mathbf{V}}_k^{\prime }}(\mathbf{u}-{\mathbf{u}}_k)=r_k^{\prime }(\mathbf{u})(10)\\ \text{相机坐标系下协方差矩阵：}{V}_k^{{}^{\prime }}=W{V}_k^{{}^{\prime \prime }}{W}^T(11)\end{array}$$
由于相机空间到射线空间的映射不是仿射的（Ax+b），故而为了解决引入了局部仿射近似 $m_{u_k}$，在 $u_k$ 处的泰勒展开前两项为：
$$m_{u_k}(u)=x_k+J_{u_k}\cdot (u-u_k)J_{u_k}=\frac{\partial m}{\partial u}(u_k)(12)$$
代入（10）将重建核映射到射线空间得到：
$$\begin{array}{r}{r}_k(x)=\frac{1}{|W^{-1}|}{\mathcal{G}}_{V_k^{{}^{\prime }}}(m^{-1}(x)-u_k)=\frac{1}{|W^{-1}||J^{-1}|}{\mathcal{G}}_{V_k}(x-x_k)(13)\\ V_k=J{V}_k^{{}^{\prime }}{J}^T=JW{V}_k^{{}^{\prime \prime }}{W}^T{J}^T(14)\end{array}$$
$V_k$ 是射线空间下的协方差矩阵。

传统方法处理椭圆形核（计算消耗大且存在精度损失）：

1. 计算投影范围
2. 映射到圆形 Footprint Function
   本文通过提出了方差矩阵的方法，对于每个体素直接计算其方差矩阵而不是通过投影和映射，只需要一个额外的 3×3 矩阵乘法，即可处理不规则椭圆形核。

根据式（4）对（12）的高斯重建核进行积分，得到高斯足迹函数 $q_k$：
$$q_k(\hat{x})={\int }_R\frac{1}{|W^{-1}||J^{-1}|}{\mathcal{G}}_{V_k}(\hat{x}-{\hat{x}}_k,x_2-x_{k2})d{x}_2=\frac{1}{|W^{-1}||J^{-1}|}{\mathcal{G}}_{{\hat{V}}_k}(\hat{x}-{\hat{x}}_k)(15)$$
其中足迹函数的 2×2 方差矩阵 ${\hat{V}}_k$ 是通过跳过 $V_k$ 的最后一行和一列得到的，最后选择一个高斯低通滤波器 $h={\mathcal{G}}_{V^h}(\hat{x})$，方差矩阵 $V^h\in R^{2\times 2}$ 通常是单位矩阵。

计算卷积可得：
$${\rho }_k(\hat{x})=(q_k\otimes h)(\hat{x})=\frac{1}{|W^{-1}||J^{-1}|}({\mathcal{G}}_{{\hat{V}}_k}\otimes {\mathcal{G}}_{V^h})(\hat{x}-{\hat{x}}_k)=\frac{1}{|W^{-1}||J^{-1}|}({\mathcal{G}}_{{\hat{V}}_k+V^h})(\hat{x}-{\hat{x}}_k)(16)$$

可以通过在一个方向上对球形高斯进行缩放 $\frac{1}{s}$ 来构建物体空间中的扁平化高斯重建核，其方差矩阵为：
$$V^{{}^{\prime \prime }}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& \frac{1}{s^2}\end{array}\right)$$
为了渲染这个重建核，首先应用了一个 3D 变换矩阵 W，包含任意建模变换和视图变换，使用式（12）的局部仿射近似来将核映射到射线空间，方差矩阵按上述计算，引入矩阵 $T^{3d}$ 表示连接的 3D 映射矩阵 $T^{3d}=JW$，可得 V：
$$V=JW{V}_k^{{}^{\prime \prime }}{W}^T{J}^T=T^{3d}{V}^{{}^{\prime \prime }}{T}^{3d^T}$$

总结

根据渲染的物理定义，会受到体素的吸收、发射和散射作用，我们有了足迹函数；又因为实际采样中图像是通过离散的像素网格采样，会引发混叠，由此引入低通滤波器。而 EWA 则是将高斯椭圆核作为研究对象，利用方差矩阵对渲染过程进行了优化。