Sat-NeRF论文笔记和复现问题处理

论文相关

$NeRF$衍生算法

$NeRF-W$

$NeRFinthewild$通过学习将瞬态现象与静态场景分离，对辐射变化和瞬态对象具有鲁棒性。除了通常的$c$和$\sigma$之外，还使用额外的全连接层头来预测每个输入点的瞬态颜色$c^T$和体积密度${\sigma }^T$。瞬态输出与静态输出线性组合，以渲染每条光线的颜色。$NeRF-W$还使用瞬态头来发出不确定性系数$\beta$，该系数衡量网络对点属于瞬态对象的置信度。$\beta$值用于损失函数，以减少学习过程中瞬态/不可靠像素的影响。

$S-NeRF$

$ShadowNeRF$是首次尝试将$NeRF$应用于多视图卫星摄影测量。$S-NeRF$显示了同时利用太阳光线的方向来学习到达场景每个点$x$的太阳光量$S$在几何估计方面的优势。太阳光线的方向是卫星图像的常见元数据。==$Sat-NeRF$==的工作可以被视为$S-NeRF$的扩展，它结合了瞬态物体建模和更适合卫星数据的相机模型表示。

$DS-NeRF$

深度监督$NeRF$在损失函数中加入了深度监督项，以加速学习并减少输入图像的数量。深度监督项利用了属于场景表面的稀疏3D点集，可以使用运动结构$SfM$管道轻松检索。$SfM$是$NeRF$框架中常见的预处理步骤，因为它可以估计投射输入光线所需的相机姿态。

输入参数

• $\mathrm{x}$: 保存场景体素中的点的坐标三维向量，是射线$r$的一部分。

• $\omega$: 编码太阳光线方向的三维矢量。对于每个输入图像，$\omega$从方位角和仰角$(\theta ,\varphi )$中提取，该角度表示太阳在遥感图像metadata中的位置

• ${\mathrm{t}}_{\mathrm{j}}$: 从图像索引$j$的函数中学习得到的$N^{(t)}$维嵌入向量。$t_j$的目标是在第$j$个视角中表达瞬态元素。该元素不能用$\omega$给出的位置来表达。设置$N^t=4$

体函数

$\mathcal{F}:(\mathrm{x},\omega ,{\mathrm{t}}_{\mathrm{j}})\to (\sigma ,\mathrm{c},\mathrm{s},\mathrm{a},\beta )$

输出结果

• $\sigma$: 编码位置$\mathrm{x}$处的体密度的标量。
• ${\mathrm{c}}_{\mathrm{a}}$: 由反射率决定的颜色。完全取决于几何信息，即空间坐标$\mathrm{x}$。
• $s$: 阴影感知的标量。从坐标$\mathrm{x}$和太阳光线方向向量$\omega$的函数中学习获得。
• $\mathrm{a}$：周围颜色。和场景集合信息完全独立，取决于由$\omega$给出的太阳位置，定义了一个全局色调偏差。
• $\beta$: 与由瞬态对象解释的$x$的颜色概率相关的不确定性系数。

核心方法1：阴影感知辐照度模型（Shadow-aware irradiance model）

保持公式（1）和公式（2）的渲染方式，用公式（3）的方法定义透射率和不透明度因子。
$$c(r)=\sum _{i=1}^N{T}_i{\alpha }_i{c}_i\text{\hspace{1em}(1)}$$

$$d(r)=\sum _{i=1}^N{T}_i{\alpha }_i{t}_i\text{\hspace{1em}(2)}$$

$${\alpha }_i=1-\exp (-{\sigma }_{\mathrm{i}}{\delta }_{\mathrm{i}});{\mathrm{T}}_{\mathrm{i}}=\prod _{\mathrm{j}=1}^{\mathrm{i}-1}(1-{\alpha }_{\mathrm{j}})\text{\hspace{1em}(3)}$$

那Sat-NeRF是如何预测投影到某个像素上的光线$r$的颜色$c$的呢？借鉴S-NeRF的工作提出阴影感知辐照度模型来计算光线$r$在每个点$x$处的颜色$c$：
$$\mathrm{c}(\mathrm{x},\omega ,{\mathrm{t}}_{\mathrm{j}})={\mathrm{c}}_{\mathrm{a}}(\mathrm{x})\cdot [\mathrm{s}(\mathrm{x},\omega )+(1-\mathrm{s}(\mathrm{x},\omega ))\cdot \mathrm{a}(\omega )]\text{\hspace{1em}(4)}$$
这里的$\mathrm{c}(\mathrm{x},\omega ,{\mathrm{t}}_{\mathrm{j}})$代替公式（1）中的${\mathrm{c}}_{\mathrm{i}}$，阴影标量$s(\mathrm{x},\omega )$取值在0到1之间，用于通过暗化反照率（albedo）来添加阴影。理想情况下，在直接被太阳照射的三维点中，$s\approx 1$，其颜色应该完全由反照率${\mathrm{c}}_{\mathrm{a}}(\mathrm{x})$来解释。该公式通过环境颜色$\mathrm{a}(\omega )$来捕捉阴影的蓝色调，有助于那些$s$取值更接近0的点。在实际情况下，太阳光线$\omega$的方向与采集日期密切相关，特别是如果卫星在一天中的同一时间经过。因此，由于一系列现象的叠加，$\mathrm{a}(\omega )$可以捕获环境的辐照度，这些现象与$\omega$相关，也与天气或季节变化等特定日期条件相关。

在S-Nerf中，阴影标量$s(\mathrm{x},\omega )$可能会对训练数据中看不到的太阳光线方向产生不切实际的结果，这时就需要添加太阳光线的正则项来最小化损失：
$$L_{SC}({\mathcal{R}}_{\mathcal{SC}})=\sum _{\mathrm{r}\in {\mathcal{R}}_{\mathcal{SC}}}(\sum _{i=1}^{{\mathcal{N}}_{\mathcal{SC}}}({\mathcal{T}}_i-s_i^2+1-\sum _{i=1}^{{\mathcal{N}}_{\mathcal{SC}}}{\mathcal{T}}_i{\alpha }_i{s}_i))\text{\hspace{1em}(5)}$$
其中$R_{SC}$是第二批次太阳矫正射线，在$R_{SC}$中的光线遵循太阳光线$\omega$的方向，而$R$中的光线在NeRF的颜色损失（MSE）${\sum }_{\mathrm{r}\in \mathcal{R}}||\mathrm{c}(\mathrm{r})-{\mathrm{c}}_{\mathrm{GT}}(\mathrm{r})|{|}_2^2]$的主项中遵循相机的观察方向。

太阳光线的正则项使用由透射率$T_i$和不透明度${\alpha }_i$编码的几何规则来进一步监督阴影感知标量$s(\mathrm{x},\omega )$的学习。第一部分强制要求对于${\mathcal{R}}_{sc}$中每条射线$r$，在第$i$个点预测的$s_i$应近似于$T_i$，即到达可见表面之前的高值、到达可见表面之后的低值（$s_i$和$T_i$都取0到1之间的值）。没太看懂这句。

第二部分鼓励$s$和$r$的积分接近1，因为非遮挡和非阴影区域必须主要由公式（4）中的反照率来解释。

核心方法2：瞬态对象的不确定性权重（Uncertainty weighting for transient objects）

类似于NeRF-W方法，任务不确定性学习方法，通过$\beta$获得对瞬态对象的鲁棒性。瞬态对象是输入图像中的准时局部变化，无法用静态表面或可用元数据（太阳的位置）来解释。辐照度模型没有明确处理瞬态对象，可以发现$s$和$\sigma$通常试图解释它们，导致深度预测出现错误。通过$\beta$，Sat-NeRF有一定的余量来忽略这些物体引起的颜色不一致。

渲染颜色和已知颜色之间每条每条光线的MSE都通过不确定性预测系数$\beta$来加权，设置以下损失：
$$L_{RGB}(\mathcal{R})=\sum _{\mathrm{r}\in \mathcal{R}}\frac{||\mathrm{c}(\mathrm{r})-{\mathrm{c}}_{\mathrm{GT}}(\mathrm{r})|{|}_2^2}{2{\beta }^{\prime }(\mathrm{r}{)}^2}+(\frac{\log {\beta }^{\prime }(\mathrm{r})+\eta }{2})\text{\hspace{1em}(6)}$$
其中，${\beta }^{\prime }(\mathrm{r})=\beta (\mathrm{r})+{\beta }_{\min }$，在公式（6）中，使用${\beta }_{min}=0.05$和$\eta =3$来避免对数中出现负值。对数在$L_{RGB}$中的作用是防止$\beta$收敛到无穷大。通过这种方式，模型会被迫在不确定系数$\beta$和颜色的差异中，找到折中的结果。

与射线$r$相关的$\beta （\mathrm{r}）$是通过对$\mathrm{r}$的$N$个点的不确定性预测系数进行积分获得的：
$$\beta (\mathrm{r})=\sum _{\mathrm{i}=1}^{\mathrm{N}}{\mathrm{T}}_{\mathrm{i}}{\alpha }_{\mathrm{i}}\beta ({\mathrm{x}}_{\mathrm{i}},{\mathrm{t}}_{\mathrm{j}})\text{\hspace{1em}(7)}$$
其中，$\beta ({\mathrm{x}}_{\mathrm{i}},{\mathrm{t}}_{\mathrm{j}})$是在$\mathrm{r}$的第$\mathrm{i}$个点预测的不确定系数，Sat-NeRF学习基于场景的空间坐标$\mathrm{x}$（一些区域可能会展示瞬态对象，比如露天停车场）和每个输入训练图像的瞬态嵌入向量${\mathrm{t}}_{\mathrm{j}}$来预测场景的每个点的不确定性$\beta$。在每个视角中，瞬态物体会影响一些区域在反照率方面出现不同。嵌入向量${\mathrm{t}}_{\mathrm{j}}$是在训练期间从第$j$个图像中学习的。

通过研究发现，在第二个epoch后开始使用$\beta$，效果是最好的，此时阴影感知标量$s$已经被很好的初始化。否则，模型可能会使用$\beta$来忽略阴影区域，而不是试图用$s$来解释它们。因此，在前两个epoch中，将公式（6）替换为${\sum }_{\mathrm{r}\in \mathcal{R}}||\mathrm{c}(\mathrm{r})-{\mathrm{c}}_{\mathrm{GT}}(\mathrm{r})|{|}_2^2]$。

核心方法3：在卫星RPC模型中进行点采样（Point sampling from satellite RPC models）

Sat-NeRF直接使用了一组卫星图像的 RPC（Rational Polynomial Coefficients）相机模型来进行光线投射。RPC 模型在光学卫星图像中应用广泛，因为它能够描述复杂的成像系统，而无需依赖于特定卫星的物理模型。每个 RPC 模型都包含一个投影函数（将 3D 点映射到图像像素上）和一个逆向定位函数（从图像坐标定位到 3D 空间）。

在 NeRF 框架中使用 RPC 模型相较以往的卫星数据处理方法是一项改进。此前在 S-NeRF中，每个输入视图的 RPC 模型被替换为一个简化的针孔相机矩阵，这种针孔模型是 NeRF 中常见的表示方法，用于处理近距离图像。

将场景的最小和最大高度分别表示为$h_{min}$和$h_{max}$。穿过场景并与第$j$幅图像像素$p$相交的光线被建模为初始点和最终点，即$x_{start}$和$x_{end}$ ，之间的直线，这些边界点是通过使用第$j$幅图像的RPC定位函数${\mathcal{L}}_j$将像素$p$定位在$h_{min}$和$h_{max}$处获得：
$$\begin{gathered} {\mathrm{x}}_{start}={\mathcal{L}}_j(\mathrm{p},h_{\max }{)}_{\mathrm{ECEF}} \\ {\mathrm{x}}_{\mathrm{end}}={\mathcal{L}}_j(\mathrm{p},h_{\min }{)}_{\mathrm{ECEF}}\text{\hspace{1em}(8)} \end{gathered}$$
这里的子索引ECEF（Earth-centered, Earth-fixed）表示定位函数${\mathcal{L}}_j$返回的3D点被转换为以地球为中心的固定坐标系（地心坐标系）。

给定$x_{start}$和$x_{end}$，射线$\mathrm{r}(\mathrm{t})=\mathrm{o}+td$相交于第$j$幅图像上的像素$\mathrm{p}$，其原点$\mathrm{o}$，方向向量$\mathrm{d}$为：
$$\begin{gathered} \mathrm{o}={\mathrm{x}}_{\mathrm{strart}} \\ \mathrm{d}=\frac{{\mathrm{x}}_{\mathrm{end}}-{\mathrm{x}}_{\mathrm{start}}}{||{\mathrm{x}}_{\mathrm{end}}-{\mathrm{x}}_{\mathrm{start}}|{|}_2}\text{\hspace{1em}(9)} \end{gathered}$$
设定与相机距离最近的最大高度点$x_{\text{start}}$为光线的原点 $o$。射线$r(t)=o+td$的边界，即 $[t_{\text{min}},t_{\text{max}}]$，设置为 $t_{\text{min}}=0$和$t_{\text{max}}=\Vert x_{\text{end}}-x_{\text{start}}{\Vert }_2$。由于在处理ECEF坐标时，表示值较大，因此不便于直接使用，采用类似于RPC函数中使用的偏移减法和缩放方法，将所有光线点归一化到区间$[-1,1]$。通过在$h_{\text{min}}$和$h_{\text{max}}$处对输入图像中的所有像素进行定位所得到的3D点集合用于计算每个空间维度的偏移和缩放。

核心方法4：RPC优化提高性能（RPC refinement for improved performance）

捆绑调整方法是遥感中常见的良好做法，用于纠正观测同一场景的RPC模型集合之间的不一致性。特别是，捆绑调整方法通过最小化图像上看到的一组对应点的重投影误差来校正RPC。

在没有提前进行RPC优化的情况下，用不同原始RPC函数投影的3D点通常了落在距离非入射图像点十个像素左右的位置上。这将导致任何用于卫星图像的NeRF方法系统性地丧失准确性，因为从不同视图的相应像素追踪射线无法在物体空间中的精确点相交。为了防止这种情况，在训练Sat-NeRF之前，先采用捆绑调整对所有输入图像的RPC模型进行相对校正。捆绑调整使用的点集来自SIFT关键点的对应关系。

虽然改进的RPC模型直接提高了点采样策略的准确性，但之前的捆绑调整也可以通过其他方式提高Sat-NeRF性能。在卫星图像的情况下，捆绑调整会产生一组从图像特征中导出的等效稀疏3D点。基于这一想法，可以考虑在Sat-NeRF模型的损失中添加深度监督项：
$$L_{DS}({\mathcal{R}}_{\mathcal{D}\mathcal{S}})=\sum _{\mathrm{r}\in {\mathcal{R}}_{\mathcal{D}\mathcal{S}}}w(\mathrm{r})(d(\mathrm{r})-||X(\mathrm{r})-\mathrm{o}(\mathrm{r})|{|}_2{)}^2\text{\hspace{1em}(10)}$$
这里的$d(\mathrm{r})$是原点为$\mathrm{o}(\mathrm{r})$的射线$\mathrm{r}$预测的深度，如果$\mathrm{r}$与已知的3D点$\mathrm{X}(\mathrm{r})$相交，则$||\mathrm{X}(\mathrm{r})-\mathrm{o}(\mathrm{r})|{|}_2$是要学习的目标深度。${\mathcal{R}}_{\mathcal{D}\mathcal{S}}$表示与已知3D点相交的一批射线。由于捆绑调整已经提供了与这些3D点相关的像素坐标，因此${\mathcal{R}}_{\mathcal{D}\mathcal{S}}$中的所有射线都可以通过点采样中定义射线的方法来定义。为了和点采样中的定义保持一致，在上式（10）中使用$[-1,1]$之间的归一化坐标来表示对象空间中的点。

类似于下面的公式（11），只在最初$25\%$的训练中使用${\mathcal{L}}_{\mathcal{D}\mathcal{S}}$，这种设置足以获得所学几何的准确性。观察${\mathcal{R}}_{\mathcal{D}\mathcal{S}}$中每个深度监督射线$r$的贡献由公式（10）中的$w（\mathrm{r}）$加权，其中$w（\mathrm{r})$是根据捆绑调整提供的每个点$\mathrm{X}（\mathrm{r}）$的重投影误差设置的标量集。

核心方法5:多任务损失和网络架构（Multi-task loss and network architecture）

Sat-NeRF损失函数的主要项是公式（6）中定义的$L_{RGB}$，辅以在公式（5）的太阳光线正则项$L_{SC}$和在公式（10）中的深度监督项$L_{DS}$。完整的损失函数可以表示为：
$$L=L_{RGB}(\mathcal{R})+{\lambda }_{\mathcal{SC}}{L}_{SC}({\mathcal{R}}_{\mathcal{SC}})+{\lambda }_{\mathcal{D}\mathcal{S}}{\mathcal{L}}_{\mathcal{D}\mathcal{S}}({\mathcal{R}}_{\mathcal{D}\mathcal{S}})$$
其中，${\lambda }_{SC}$和${\lambda }_{DS}$是赋予每个次要项的任意权重。我们通过经验发现，${\lambda }_{SC}=\frac{0.1}{3}$和${\lambda }_{DS}=\frac{1000}{3}$能提供良好的结果，使得次要项足够相关，但低于$L_{RGB}$的数量级。对于深度监督，我们依据[31]的输出，为每个感兴趣区域使用了大约$2k$到$10k$个捆绑调整点。$R$、$R_{SC}$和$R_{DS}$的批量大小相同。

Sat-NeRF的架构如图3所示。主块由全连接层构成，每层有$h$个通道，专门用于预测场景的静态属性：体积密度$\sigma$和反照率颜色$c_a$。在此基础上，添加了一个次级头，其层数较少且每层通道数减半，以基于太阳光线方向$\omega$和主块学习的$h$个几何相关特征向量来估计阴影标量$s$。最后，使用两个单层头分别从瞬态嵌入向量$t_j$和$\omega$预测不确定性系数$\beta$和环境颜色$a$。

这里采用SIREN层。使用softplus函数预测$\sigma$对取得满意的结果至关重要。不确定性$\beta$也是通过softplus生成的，相较于传统的ReLU，这产生了更平滑的优化问题。其他输出则由sigmoid函数计算，因为它们与归一化的RGB值相关，且必须在区间[0, 1]内。$h$的值应根据观察区域的分辨率和大小进行调整。在本工作中，设置$h=512$。

复现情况

将项目 clone 到实验室服务器，并下载 EarthVision ：https://github.com/centreborelli/satnerf/releases/tag/EarthVision2022的数据集。

配置环境的时候遇到 sh 脚本无法执行的情况，看报错内容应该是无法通过脚本连接到环境依赖的仓库，该方法不可行。

采用手动创建虚拟环境的方法：（这个是错误的指令）

conda env create -n satname python=3.6

通过后期验证发现 python = 3.6 对应的 torch 不满足代码需求，所以后面改成 3.8 版本的 python

然后通过配置文件手动添加相关依赖：

pip install -r requirements.txt

第一条报错显示 gdal 无法正确安装，所以考虑用 conda 手动安装，因为 conda 会自动管理兼容的 libgdal 版本：

conda install gdal

还是会出现报错显示 opencv 版本不匹配，为了满足项目需求，安装指定较低版本的 opencv：

pip install opencv-contrib-python==4.5.3.56

接下来出现的报错，关于某些库无法正确安装可以直接用 conda 和 pip，哪个能用就用哪个。

第一次配置好环境之后，把下载好的数据集导入训练，编写官方给的训练指令，执行训练。

load 完输入图像后，一直无法调用到对应 GPU 和 CUDA，推测应该 pytorch 和 cuda 的版本太低了，和服务器的 GPU 不匹配，所以无法调用。

把 satnerf 环境删了，重新配一个虚拟环境，这次改用 python3.8。然后 pytorch 版本选用 2.4.1，torchvision 版本对应上(0.19.2)之后，可以顺利执行训练。

官方给的训练指令修改后如下所示：

python3 main.py --model sat-nerf --exp_name JAX_068_ds1_sat-nerf --root_dir /home/data1/xxx/Project/satnerf/data/root_dir/crops_rpcs_ba_v2/JAX_068  --img_dir /home/data1/xxx/Project/satnerf/data/DFC2019/Track3-RGB-crops/JAX_068  --cache_dir /home/data1xxx/Project/satnerf/data/cache_dir/crops_rpcs_ba_v2/JAX_068_ds1 --gt_dir /home/data1/xxx/Project/satnerf/data/DFC2019/Track3-Truth  --logs_dir  /home/data1/xxx/Project/satnerf/data/SatNeRF_output/logs --ckpts_dir /home/data1/xxx/Project/satnerf/data/SatNeRF_output/ckpts

官方给的默认参数设置在 ~/opt.py 中的 line40:

# training and network configuration
    parser.add_argument('--lr', type=float, default=5e-4,
                        help='initial learning rate')
    parser.add_argument('--batch_size', type=int, default=1024,
                        help='batch size (number of input rays per iteration)')
    parser.add_argument('--img_downscale', type=float, default=1.0,
                        help='downscale factor for the input images')
    parser.add_argument('--max_train_steps', type=int, default=300000,
                        help='number of training iterations')
    parser.add_argument('--save_every_n_epochs', type=int, default=4,
                        help="save checkpoints and debug files every n epochs")
    parser.add_argument('--fc_units', type=int, default=512,
                        help='number of fully connected units in the main block of layers')
    parser.add_argument('--fc_layers', type=int, default=8,
                        help='number of fully connected layers in the main block of layers')
    parser.add_argument('--n_samples', type=int, default=64,
                        help='number of coarse scale discrete points per input ray')
    parser.add_argument('--n_importance', type=int, default=0,
                        help='number of fine scale discrete points per input ray')
    parser.add_argument('--noise_std', type=float, default=0.0,
                        help='standard deviation of noise added to sigma to regularize')
    parser.add_argument('--chunk', type=int, default=1024*5,
                        help='maximum number of rays that can be processed at once without memory issues')

最大迭代次数 max_train_steps 为 300000，批大小 batch_size 为 1024。

第一次训练结果，迭代了epoch=27：

总训练时间：约 42484 秒，11.8h。

主要耗时操作：

• run_training_epoch：占用总时间的 99.847%
• run_training_batch 和 optimizer_step_and_closure_0 分别占 87.486% 和 85.262%

模型前向传播（model_forward）及反向传播（backward）占总时间的 30.203% 和 50.486%

输出的内容

有些文件夹是空的，只记录一下有内容的文件夹。目前只有sky这一组结果没有图像。

Albedo（反照率）：

• 反照率表示物体表面的光反射率，它是由表面材质决定的，与光照条件无关。Albedo 是 Sat-NeRF 生成的表面颜色，排除了阴影和瞬态光照的影响。这个图像可以帮助分析表面的真实颜色，适用于计算物体在不同光照条件下的表现。

Beta（不确定性系数）：

• 不确定性系数衡量的是模型在瞬态对象（如汽车、行人等临时物体）周围的信心水平。Beta 值较高的区域通常对应变化频繁或短暂出现的对象，因此可以通过该系数来抑制这些对象对整体模型的干扰。这有助于提高模型在不同时间段的图像之间一致性的重建质量。

Depth（深度图）：

• 深度图表示每个像素到相机的距离，这在 3D 重建中用于表示场景中的相对距离。深度图提供了场景的几何信息，可用于合成不同视角下的图像，或生成立体图像。

DSM（数字表面模型）：

• 数字表面模型（Digital Surface Model）是表面高度的三维表示，通常包括所有地物（如树木、建筑等）的高度。DSM 可以看作是深度图的绝对版本，它对场景的结构和形态有清晰的呈现。Sat-NeRF 通过 DSM 生成高分辨率的 3D 表面模型，使得重建结果具有更高的地理真实性。

GT_RGB（Ground Truth RGB，真实 RGB）：

• 真实 RGB是从卫星影像中直接采集的颜色数据，作为 Sat-NeRF 的训练或对比基准。GT_RGB 图像可以用于与重建的 RGB 结果进行对比，以评估模型的准确性和生成的图像质量。

RGB：

• RGB表示 Sat-NeRF 生成的渲染结果，包括阴影、瞬态对象以及环境光在内的所有场景因素。该图像是对 GTRGB 的近似，用于比较生成图像和真实图像的差异。理想情况下，RGB 与 GTRGB 应尽可能一致。

Sky（天空）：

• 天空图像可能是由于天空部分没有足够的几何或纹理信息，因此模型未生成有效的图像。通常天空区域对重建没有直接贡献，因为它的深度或几何信息不足。天空的存在主要用于光照条件下的参考。

Sun（太阳光照）：

• 太阳光照图像展示了太阳在场景中的光照效果。这对场景中的阴影生成和阴影标量的计算非常重要，因为不同的太阳角度会影响阴影在场景中的呈现。Sun 信息通常用于模拟不同时间的光照变化，以便更真实地呈现场景。