论文阅读——高光谱与多光谱图像融合：通过自监督表示实现任意分辨率

Abstract

低分辨率高光谱图像（LR-HSI）与高分辨率多光谱图像（HR-MSI）的融合已成为实现高光谱图像超分辨率（SR）的有效技术。以往的研究主要集中在通过利用适当的图像先验和从潜在高光谱图像（HR-HSI）与观测图像之间的差异计算出的似然，来估计潜在高分辨率高光谱图像的后验分布。在各种先验中，低秩性通过矩阵分解在保留潜在高光谱图像特征方面表现突出。然而，以往研究的主要局限在于融合模型的泛化能力受限于固定的分辨率尺度，每当输出分辨率发生变化时都需要重新训练模型。为了克服这一局限，我们提出了一种新颖的连续低秩分解（CLoRF）方法，通过将两种神经表示集成到矩阵分解中，分别捕捉空间和光谱信息。这一方法使我们能够以自监督的方式同时利用矩阵分解的低秩性和神经表示的连续性。理论上，我们证明了所提出的连续低秩分解具有低秩性和Lipschitz连续性。实验结果表明，我们的方法显著超越了现有技术，并且能够在无需重新训练神经网络的情况下实现用户所需的分辨率。

Method

3.1 Problem Formulation

给定高分辨率多光谱图像（HR-MSI）和低分辨率高光谱图像（LR-HSI）数据，我们的目标是近似生成对应的高分辨率高光谱图像（HR-HSI）数据。

具体来说，HR-HSI、LR-HSI 和 HR-MSI 数据沿光谱维度被转换为矩阵形式。HR-HSI 表示为矩阵 $\mathbf{Z}\in {\mathbb{R}}^{L\times N}$，其中 $L$ 是光谱波段数，$N=H\times W$ 是总像素数，$H$ 和 $W$ 分别表示空间分辨率。LR-HSI 表示为矩阵 $\mathbf{X}\in {\mathbb{R}}^{L\times n}$，其中 $n$ 表示低分辨率空间像素数，且 $n\ll N$。最后，HR-MSI 表示为矩阵 $\mathbf{Y}\in {\mathbb{R}}^{l\times N}$，其中 $l\ll L$ 表示 $\mathbf{Y}$ 的光谱波段数少于 $\mathbf{X}$。

LR-HSI $\mathbf{X}$ 可以解释为 HR-HSI $\mathbf{Z}$ 在空间维度上的降质表示，其公式如下：

$$\mathbf{X}=\mathbf{ZBS}+{\mathbf{N}}_h,(1)$$

其中 ${\mathbf{N}}_h\sim \mathcal{N}(0,{\sigma }_h\mathbf{I})$ 表示加性高斯噪声。此外，$\mathbf{B}\in {\mathbb{R}}^{N\times N}$ 是 $\mathbf{Z}$ 的空间模糊算子，表示高光谱传感器的点扩散函数（PSF）。$\mathbf{S}\in {\mathbb{R}}^{N\times n}$ 是空间下采样矩阵。

类似地，HR-MSI $\mathbf{Y}$ 可以视为 HR-HSI $\mathbf{Z}$ 在光谱维度上的降采样表示，其公式如下：

$$\mathbf{Y}=\mathbf{HZ}+{\mathbf{N}}_m,(2)$$

其中 $\mathbf{H}\in {\mathbb{R}}^{l\times L}$ 是光谱响应函数（SRF），${\mathbf{N}}_m\sim \mathcal{N}(0,{\sigma }_m\mathbf{I})$ 表示加性高斯噪声。

由于高光谱图像通常具有低秩结构，因此它们位于一个低维子空间中（Simoes et al., 2014; Zhuang & Bioucas-Dias, 2018）。低秩分解的目标是将目标矩阵 $\mathbf{Z}$ 近似为两个矩阵的乘积：

$$\mathbf{Z}\approx \mathbf{EA},(3)$$

其中 $\mathbf{E}\in {\mathbb{R}}^{L\times K}$ 是光谱字典，$\mathbf{A}\in {\mathbb{R}}^{K\times N}$ 是系数矩阵，$K\ll L$ 是一个超参数，用于控制光谱基的数量。

低秩分解表示具有三个主要优势：

• 首先，它最大限度地利用了光谱波段之间的强相关性；
• 其次，通过保持 $K$ 较小（$K\ll L$），光谱模式的尺寸得以减小，从而提高了计算效率；
• 第三，矩阵 $\mathbf{Z}$ 的每一列可以通过矩阵 $\mathbf{E}$ 的列和矩阵 $\mathbf{A}$ 中的系数线性表示。矩阵 $\mathbf{A}$ 的行保持了矩阵 $\mathbf{Z}$ 的空间结构。

需要注意的是，(3) 式并不是 $\mathbf{Z}$ 的唯一分解形式。可以通过任意逆矩阵 $\mathbf{B}\in {\mathbb{R}}^{K\times K}$ 得到另一组分解 $\hat{\mathbf{E}}=\mathbf{EB}$ 和 $\hat{\mathbf{A}}={\mathbf{B}}^{-1}\mathbf{A}$。

将式 (3) 代入式 (1) 和式 (2)，$\mathbf{X}$ 和 $\mathbf{Y}$ 可以表示为：

$$\mathbf{X}=\mathbf{EABS}+{\mathbf{N}}_h,\mathbf{Y}=\mathbf{HEA}+{\mathbf{N}}_m.(4)$$

因此，融合问题转化为从矩阵 $\mathbf{X}$ 和 $\mathbf{Y}$ 中估计光谱字典 $\mathbf{E}$ 及其对应的系数矩阵 $\mathbf{A}$，其优化问题如下：

$$\underset{\mathbf{E},\mathbf{A}}{\min }\Vert \mathbf{X}-\mathbf{EABS}{\Vert }_F^2+\lambda \Vert \mathbf{Y}-\mathbf{HEA}{\Vert }_F^2,(5)$$

其中 $\Vert \cdot {\Vert }_F$ 表示 Frobenius 范数，$\lambda$ 是平衡因子。由于缺乏特定的先验信息，问题 (5) 是欠定的；因此，现有工作主要集中在探索合适的先验信息。然而，这些方法在处理 HR-HSI 时局限于两种模态的维度，无法有效地融合任意分辨率的高光谱图像。

3.2 Deep Continuous Low-rank Factorization Model

隐式神经表示（Implicit Neural Representation, INR）被广泛用于学习连续数据表示。然而，简单地使用单一 INR 来表示高光谱图像体积会导致效率低下和计算成本高昂，因为它忽略了高光谱图像独特的低秩结构。相反，我们提出了一种 连续低秩分解（Continuous Low-Rank Factorization, CLoRF） 模型，用于连续且有效地学习高光谱图像表示。我们的方法通过同时学习空间和光谱 INR 的低秩连续表示，充分挖掘了高光谱图像的低秩结构。有效地捕捉了高光谱图像的低秩性和平滑性，同时克服了现有基于 INR 的方法（X. Wang, Cheng, et al., 2023; Deng et al., 2023）在高光谱图像中计算负担过重的问题。

如图 2 所示，CLoRF 由两个步骤组成：低秩分解和学习。低秩分解将高光谱图像数据空间分解为两个较小的子空间：空间基 $\mathbf{A}$ 和光谱变换 $\mathbf{E}$。此外，空间和光谱分量通过两个神经网络进行参数化，使用两个 INR 来学习高分辨率高光谱图像（HR-HSI）的低秩连续表示。受正弦表示网络（Sinusoidal Representation Networks, SIRENs）（Sitzmann et al., 2020）的启发，我们采用两个 SIREN 分别估计式 (3) 中的 $\mathbf{E}$ 和 $\mathbf{A}$。

具体来说，用一个由参数 $\theta$ 参数化的 SIREN ${\Psi }_{\theta }(\cdot )$ 来近似 $\mathbf{E}$，另一个由参数 $\alpha$ 参数化的 SIREN ${\Phi }_{\alpha }(\cdot )$ 来近似 $\mathbf{A}$，其定义如下：

$$\begin{gathered} \hat{\mathbf{E}}(\mathbf{b};\theta )=[{\Psi }_{\theta }(b_1),{\Psi }_{\theta }(b_2),\dots ,{\Psi }_{\theta }(b_L){]}^T, \\ \hat{\mathbf{A}}(\mathbf{O};\alpha )=[{\Phi }_{\alpha }(o_{11}),{\Phi }_{\alpha }(o_{12}),\dots ,{\Phi }_{\alpha }(o_{HW})], \end{gathered}$$

其中 ${\Psi }_{\theta }(b_i):\mathbb{R}\to {\mathbb{R}}^K$ 是一个光谱基，$b_i\in \mathbb{R}$ 是低分辨率高光谱图像（LR-HSI）第 $i$ 个波段索引的一维坐标。
${\Phi }_{\alpha }(o_{ij}):{\mathbb{R}}^2\to {\mathbb{R}}^K$ 是一个空间基，$o_{ij}\in {\mathbb{R}}^2$ 是高分辨率多光谱图像（HR-MSI）的二维坐标。我们将光谱基表示为 $\mathbf{b}=[b_1,b_2,\dots ,b_L{]}^T$，空间基表示为 $\mathbf{O}=[o_{11};o_{12};\dots ;o_{HW}]$。两个网络的目标是学习如何从固定坐标映射到目标表示。这里，我们将这些网络形式化如下：

$$\begin{gathered} {\Psi }_{\theta }(b_i)=W_{1d_1}(\cdots (\sigma (W_{11}{b}_i+c_{11}))\cdots )+c_{1d_1}, \\ {\Phi }_{\alpha }(o_{ij})=W_{2d_2}(\cdots (\sigma (W_{21}{o}_{ij}^T+c_{21}))\cdots )+c_{2d_2}, \end{gathered}$$

其中 $\sigma$ 表示激活函数， θ = ( { W i 1 } i = 1 d 1 , { c 1 i } i = 1 d 1 ) \theta = (\{W_{i1}\}_{i=1}^{d_1}, \{c_{1i}\}_{i=1}^{d_1}) θ=({Wi1​}i=1d1​​,{c1i​}i=1d1​​) 和 α = ( { W i 2 } i = 1 d 2 , { c 2 i } i = 1 d 2 ) \alpha = (\{W_{i2}\}_{i=1}^{d_2}, \{c_{2i}\}_{i=1}^{d_2}) α=({Wi2​}i=1d2​​,{c2i​}i=1d2​​) 分别包含光谱 INR 和空间 INR 的权重矩阵和偏置向量。我们的方法是低秩分解从离散网格到连续域的自然扩展。目标高分辨率高光谱图像近似为 $\hat{\mathbf{Z}}=\hat{\mathbf{E}}(\mathbf{b};\theta )\hat{\mathbf{A}}(\mathbf{O};\alpha )$。

由于矩阵 $\hat{\mathbf{A}}(\mathbf{O};\alpha )$ 保留了高光谱图像的空间结构，在不失一般性的情况下，我们考虑了高光谱图像的空间平滑性。此外，为了应对噪声干扰场景，我们在预测的系数矩阵 $\hat{\mathbf{A}}(\mathbf{O};\alpha )$ 上进一步引入了总变差（Total Variation, TV）损失。数学上，$\hat{\mathbf{A}}(\mathbf{O};\alpha )$ 的 TV 正则化公式如下：

$$\sum _{k=1}^K\text{TV}({\hat{a}}_k)=\sum _{k=1}^K(\Vert D_h{\hat{a}}_k{\Vert }_1+\Vert D_w{\hat{a}}_k{\Vert }_1),(6)$$

其中 ${\hat{a}}_k$ 是 $\hat{\mathbf{A}}(\mathbf{O};\alpha )$ 的第 $k$ 行。$D_h$ 和 $D_w$ 分别表示在矩阵形式的 ${\hat{a}}_k$ 上沿高度和宽度方向的微分操作。这里，$\Vert \cdot {\Vert }_1$ 表示 ${\ell }_1$ 范数。通过引入 TV 损失，我们促进了空间平滑性，并提高了融合的整体质量。

因此，带有 TV 先验的优化问题可以总结如下：

$$\underset{\theta ,\alpha }{\min }{\mathcal{L}}_{\text{MSI}}+\lambda {\mathcal{L}}_{\text{HSI}}+\eta \sum _{k=1}^K\text{TV}({\hat{a}}_k),(7)$$

其中 ${\mathcal{L}}_{\text{MSI}}=\Vert \mathbf{X}-\hat{\mathbf{E}}(\mathbf{b};\theta )\hat{\mathbf{A}}(\mathbf{O};\alpha )\mathbf{BS}{\Vert }_F^2$，${\mathcal{L}}_{\text{HSI}}=\Vert \mathbf{Y}-\mathbf{H}\hat{\mathbf{E}}(\mathbf{b};\theta )\hat{\mathbf{A}}(\mathbf{O};\alpha ){\Vert }_F^2$，$\eta$ 是正则化参数。

在训练网络后，可以通过近似 $\hat{\mathbf{E}}(\mathbf{b};{\theta }^{\ast })$ 和 $\hat{\mathbf{A}}(\mathbf{O};{\alpha }^{\ast })$ 来保持 $\hat{\mathbf{Z}}$ 的低秩表示，其中 ${\theta }^{\ast }$ 和 ${\alpha }^{\ast }$ 对应于训练好的网络参数。由于网络以坐标作为输入，且式 (7) 中的优化不涉及真实高光谱图像作为监督标签，因此我们的方法是自监督的。我们采用 Adam 优化器进行优化，这是一种随机梯度下降算法。此外，通过将任意尺度的坐标 { b ~ , O ~ } \{\tilde{\mathbf{b}}, \tilde{\mathbf{O}}\} {b~,O~} 输入到训练好的网络中，我们可以推断出任意分辨率的高光谱图像，即 $\hat{\mathbf{E}}(\tilde{\mathbf{b}};{\theta }^{\ast })\hat{\mathbf{A}}(\tilde{\mathbf{O}};{\alpha }^{\ast })$。

与现有的基于 INR 的融合方法相比，我们的方法具有以下几个显著优势：

• 首先，它通过低秩连续学习表示充分利用了高光谱图像的低秩和平滑先验；
• 其次，通过连续低秩分解显著降低了计算复杂度；
• 第三，通过输入任意尺度的空间和光谱坐标，可以实现用户所需分辨率的任意位置高光谱图像生成。

3.3 Theoretical Analysis

在本节中，我们从理论上证明了低秩性和平滑正则化在连续低秩矩阵分解中是隐式统一的。我们的分析灵感来源于（Luo et al., 2024）中的张量函数分解概念。以下从矩阵计算领域的秩分解开始。

定理 1（秩分解，Piziak & Odell, 1999）
设矩阵 $\mathbf{X}\in {\mathbb{R}}^{n_1\times n_2}$，且 $\text{rank}(\mathbf{X})=K$，则存在两个矩阵 $\mathbf{U}\in {\mathbb{R}}^{n_1\times K}$ 和 $\mathbf{V}\in {\mathbb{R}}^{n_2\times K}$，使得：
$$\mathbf{X}=\mathbf{U}{\mathbf{V}}^T.$$

连续表示的高光谱图像
接下来，我们详细介绍所提出的高光谱图像（HSI）的连续表示。设 $f(\cdot ):{\mathcal{A}}_f\times {\mathcal{Z}}_f\to \mathbb{R}$ 是一个有界实函数，其中 ${\mathcal{A}}_f\subset {\mathbb{R}}^2$ 和 ${\mathcal{Z}}_f\subset \mathbb{R}$ 分别是空间域和光谱域的定义域。函数 $f$ 给出了定义域 ${\mathcal{D}}_f:={\mathcal{A}}_f\times {\mathcal{Z}}_f$ 内任意坐标处的数据值。我们将 $f$ 解释为一个矩阵函数，因为它将空间和光谱坐标映射到相应的值，从而隐式地表示矩阵数据。

定义 1（采样矩阵集）
对于矩阵函数 $f(\cdot ):{\mathcal{D}}_f\to \mathbb{R}$，我们定义其采样矩阵集 $\mathcal{S}[f]$ 为：
S [ f ] : = { M ∣ M ( i , j ) = f ( s i , b j ) , s i ∈ A f , b j ∈ Z f , M ∈ R n 1 × n 2 , n 1 , n 2 ∈ N + } , \mathcal{S}[f] := \{\mathbf{M} \mid \mathbf{M}(i,j) = f(s_i, b_j), s_i \in \mathcal{A}_f, b_j \in \mathcal{Z}_f, \mathbf{M} \in \mathbb{R}^{n_1 \times n_2}, n_1, n_2 \in \mathbb{N}^+\}, S[f]:={M∣M(i,j)=f(si​,bj​),si​∈Af​,bj​∈Zf​,M∈Rn1​×n2​,n1​,n2​∈N+},
其中 $s_i$ 和 $b_j$ 分别表示空间坐标和光谱坐标。

定义 2（矩阵函数秩）
给定矩阵函数 $f:{\mathcal{D}}_f={\mathcal{A}}_f\times {\mathcal{Z}}_f\to \mathbb{R}$，我们定义其复杂度度量，记为 $\text{MF-rank}[f]$（即函数 $f(\cdot )$ 的秩），为采样矩阵集 $\mathcal{S}[f]$ 中矩阵秩的上确界：
$$\text{MF-rank}[f]:=\underset{\mathbf{M}\in \mathcal{S}[f]}{\sup }\text{rank}(\mathbf{M}).$$
如果 K ≪ min ⁡ { n 1 , n 2 } K \ll \min\{n_1, n_2\} K≪min{n1​,n2​}，我们称矩阵函数 $f(\cdot )$ 为低秩矩阵函数。当 $f(\cdot )$ 定义在给定矩阵上时，$\text{MF-rank}$ 将退化为离散情况，即经典的矩阵秩。

命题 2
考虑任意矩阵 $\mathbf{X}\in {\mathbb{R}}^{n_1\times n_2}$。设 ${\mathcal{A}}_f=\mathcal{N}(l_1)\times \mathcal{N}(l_2)$（其中 $l_1{l}_2=n_1$）表示一个二维离散集，${\mathcal{Z}}_f=\mathcal{N}(n_2)$ 是一个一维离散集，其中 $\mathcal{N}(k)$ 表示集合 { 1 , 2 , … , k } \{1, 2, \ldots, k\} {1,2,…,k}。我们定义 ${\mathcal{D}}_f={\mathcal{A}}_f\times {\mathcal{Z}}_f$，并定义矩阵函数 $f(\cdot ):{\mathcal{D}}_f\to \mathbb{R}$ 为：
$$f(s,b)=\mathbf{X}(s,b),\forall (s,b)\in {\mathcal{D}}_f.$$

则 $\text{MF-rank}[f]=\text{rank}(\mathbf{X})$。

证明：

1. 下界证明：

   • 由于 $\mathbf{X}\in \mathcal{S}[f]$，即 $\mathbf{X}$ 是 $\mathcal{S}[f]$ 中的一个采样矩阵，因此：
     $$\text{MF-rank}[f]\ge \text{rank}(\mathbf{X}).$$

2. 上界证明：

   • 设 $\mathbf{M}$ 是 $\mathcal{S}[f]$ 中的任意矩阵。对于 $\mathbf{M}$ 的每一列 $\mathbf{M}(:,p)$（ p ∈ { 1 , 2 , … , n 2 } p \in \{1, 2, \ldots, n_2\} p∈{1,2,…,n2​}），根据 $\mathcal{S}[f]$ 的定义，存在一个依赖于 $p$ 的索引 l p ∈ { 1 , 2 , … , n 1 } l_p \in \{1, 2, \ldots, n_1\} lp​∈{1,2,…,n1​}，使得 $\mathbf{M}(:,p)$ 是 $\mathbf{X}(:,l_p)$ 的一个排列（允许重复采样）。
   • 即对于每一列 $\mathbf{M}(:,p)$，存在一个置换矩阵 P ∈ { 0 , 1 } n 1 × n 1 \mathbf{P} \in \{0, 1\}^{n_1 \times n_1} P∈{0,1}n1​×n1​ 和 $\mathbf{X}$ 的某一列 $\mathbf{X}(:,l_p)$，使得：
     $$\mathbf{M}(:,p)=\mathbf{PX}(:,l_p).$$
   • 此外，置换矩阵 $\mathbf{P}$ 对于所有列 $\mathbf{M}(:,p)$（$p=1,2,\dots ,n_2$）是一致的，即：
     $$\mathbf{M}(:,p)=\mathbf{PX}(:,l_p),\forall p.$$

3. 构造矩阵 $\tilde{\mathbf{X}}$：

   • 定义矩阵 $\tilde{\mathbf{X}}:=[\mathbf{X}(:,l_1),\mathbf{X}(:,l_2),\dots ,\mathbf{X}(:,l_{n_2})]\in {\mathbb{R}}^{n_1\times n_2}$。
   • 由于 $\tilde{\mathbf{X}}$ 的每一列都是 $\mathbf{X}$ 的某一列的复制或排列，因此：
     $$\text{rank}(\tilde{\mathbf{X}})\le \text{rank}(\mathbf{X}).$$

4. 矩阵 $\mathbf{M}$ 的秩：

   • 由于 $\mathbf{M}=\mathbf{P}\tilde{\mathbf{X}}$，且 $\mathbf{P}$ 是置换矩阵（满秩），因此：
     $$\text{rank}(\mathbf{M})=\text{rank}(\tilde{\mathbf{X}})\le \text{rank}(\mathbf{X}).$$
   • 由于 $\mathbf{M}$ 是 $\mathcal{S}[f]$ 中的任意矩阵，因此：
     $$\text{MF-rank}[f]=\underset{\mathbf{M}\in \mathcal{S}[f]}{\sup }\text{rank}(\mathbf{M})\le \text{rank}(\mathbf{X}).$$

命题 2 将秩的概念从离散矩阵扩展到了矩阵函数的连续表示中。类似于经典的矩阵表示，我们自然会考虑是否可以通过某种矩阵分解策略来编码低秩矩阵函数的低秩性。对此，我们给出了肯定的回答，如下定理所示。

定理 3（连续低秩分解） (continuous low-rank factorization)
设 $f(\cdot ):{\mathcal{D}}_f={\mathcal{A}}_f\times {\mathcal{Z}}_f\to \mathbb{R}$ 是一个有界矩阵函数，其中 ${\mathcal{A}}_f\subset {\mathbb{R}}^2$，${\mathcal{Z}}_f\subset \mathbb{R}$。如果 $\text{MF-rank}[f]=K$，则存在两个函数 $f_{\text{spatial}}(\cdot ):{\mathcal{A}}_f\to {\mathbb{R}}^K$ 和 $f_{\text{spectral}}(\cdot ):{\mathcal{Z}}_f\to {\mathbb{R}}^K$，使得对于任意输入对 $(s,b)\in {\mathcal{D}}_f$，有：
$$f(s,b)=f_{\text{spatial}}(s)\cdot f_{\text{spectral}}^T(b).$$

证明：

我们首先为每个因子函数 $f(s,b)$ 建立一个线性表示，然后展示连续低秩分解如何保持矩阵分解秩（MF-rank）。

1. 线性表示的建立
   假设 $\text{MF-rank}[f]=K$（$K<\infty$），则存在一个矩阵 $\mathbf{M}\in {\mathbb{R}}^{n_1\times K}$，且 $\text{rank}(\mathbf{M})=K$。定义：

• 空间坐标集 S = { s i ∣ M i , j = f ( s i , b j ) , i = 1 , … , n 1 } S = \{s_i \mid \mathbf{M}_{i,j} = f(s_i, b_j), i = 1, \ldots, n_1\} S={si​∣Mi,j​=f(si​,bj​),i=1,…,n1​}，
• 光谱坐标集 T = { b j ∣ M i , j = f ( s i , b j ) , j = 1 , … , K } T = \{b_j \mid \mathbf{M}_{i,j} = f(s_i, b_j), j = 1, \ldots, K\} T={bj​∣Mi,j​=f(si​,bj​),j=1,…,K}。

显然， { M ( : , i ) } i = 1 K \{\mathbf{M}(:,i)\}_{i=1}^K {M(:,i)}i=1K​ 是采样矩阵集 $\mathcal{S}[f]$ 的列基。对于任意矩阵 $\mathbf{U}\in {\mathbb{R}}^{n_1\times n_2}$（$n_2\ge K$），其中 $\mathbf{U}(i,j)=f(s_i,b_j)$（$s_i\in S,b_j\in {\mathcal{Z}}_f$），我们有 $\mathbf{U}\in \mathcal{S}[f]$ 且 $\text{rank}(\mathbf{U})\le K$。此外，$\mathbf{U}$ 的每一列都是列基 { M ( : , i ) } i = 1 K \{\mathbf{M}(:,i)\}_{i=1}^K {M(:,i)}i=1K​ 的线性组合：
$$\mathbf{U}(:,j)=\sum _{k=1}^K{c}_k^{(b_j)}\mathbf{M}(:,k),j=1,2,\dots ,n_2.(B1)$$

利用式 (B1)，我们可以将 $f(s,b)$ 重写为：
$$f(s,b)=\sum _{k=1}^K{c}_k^{(b)}\mathbf{M}(i,k)=\sum _{k=1}^K{c}_k^{(b)}f(s,b_k),(B2)$$
其中 $c^{(b)}=[c_1^{(b)},c_2^{(b)},\dots ,c_K^{(b)}]$，且 $s\in S,b\in {\mathcal{Z}}_f$。

2. 从 $s\in S$ 推广到 $s\in {\mathcal{A}}_f$
   接下来，我们将上述结论从 $s\in S$ 推广到任意 $s\in {\mathcal{A}}_f$。给定 $\tilde{s}\in {\mathcal{A}}_f\setminus S$，我们构造一个矩阵 $\mathbf{T}\in {\mathbb{R}}^{(n_1+1)\times n_2}$，其中：
   $$\mathbf{T}(i,j)=f(s_i,b_j),s_i\in S\text{ 对于 }i=1,2,\dots ,n_1,s_{n_1+1}=\tilde{s}.$$
   假设存在 $K$ 个列向量 { T ( : , j k ) } k = 1 K \{\mathbf{T}(:,j_k)\}_{k=1}^K {T(:,jk​)}k=1K​，使得：
   $$\mathbf{T}(1:n_1,j_k)=\mathbf{M}(:,k),k=1,2,\dots ,K.$$
   因此，$\text{rank}(\mathbf{T})=K$，且对于 $j=1,2,\dots ,n_2$，有：
   $$\begin{gathered} \mathbf{T}(:,j)=\sum _{k=1}^K{d}_k^{(b_j)}\mathbf{T}(:,j_k), \\ \mathbf{T}(1:n_1,j)=\sum _{k=1}^K{c}_k^{(b_j)}\mathbf{M}(:,k). \end{gathered}$$
   由于系数向量的唯一性，我们有 $d^{(b_j)}=c^{(b_j)}$。因此：
   $$\mathbf{T}(n_1+1,j)=\sum _{k=1}^K{c}_k^{(b_j)}\mathbf{T}(n_1+1,k),(B3)$$
   即：
   $$f(\tilde{s},b)=\sum _{k=1}^K{c}_k^{(b)}f(\tilde{s},b_k),\forall \tilde{s}\in {\mathcal{A}}_f\setminus S.$$
   这表明，对于任意 $\tilde{s}\in {\mathcal{A}}_f\setminus S$，$f(\tilde{s},b)$ 可以用基函数 $f(\tilde{s},b_k)$（$b_k\in T$）线性表示。

3. 定义因子函数
   我们定义空间因子函数 $f_{\text{spatial}}(\cdot ):{\mathcal{A}}_f\to {\mathbb{R}}^K$ 为：
   $$f_{\text{spatial}}(\tilde{s}):=[f(\tilde{s},b_1),f(\tilde{s},b_2),\dots ,f(\tilde{s},b_K){]}^T.$$
   同时，定义矩阵函数 $h(\cdot ):\mathcal{N}(K)\times {\mathcal{Z}}_f\to \mathbb{R}$ 为：
   $$h(i,b):=c_i^{(b)},$$
   其中 N ( K ) = { 1 , 2 , … , K } \mathcal{N}(K) = \{1, 2, \ldots, K\} N(K)={1,2,…,K}。根据上述分析，对于任意 $(s,b)\in {\mathcal{D}}_f={\mathcal{A}}_f\times {\mathcal{Z}}_f$，有：
   $$f(s,b)=\sum _{k=1}^{K}h(k,b)(f_{\text{spatial}}(s))(k).(B4)$$
   定义光谱因子函数 $f_{\text{spectral}}(\cdot ):{\mathcal{Z}}_f\to {\mathbb{R}}^K$ 为：
   $$f_{\text{spectral}}(b):=[h(1,b),h(2,b),\dots ,h(K,b){]}^T\in {\mathbb{R}}^{K\times 1},$$
   则式 (B4) 可以重写为：
   $$f(s,b)=f_{\text{spatial}}(s)\cdot f_{\text{spectral}}^T(b).(B5)$$

定理 3 是秩分解（定理 1）从离散网格到连续域的自然扩展。具体来说，我们使用两个多层感知机（MLP）${\Phi }_{\alpha }(\cdot )$ 和 ${\Psi }_{\theta }(\cdot )$（参数分别为 $\theta$ 和 $\alpha$）来参数化因子函数 $f_{\text{spatial}}(\cdot )$ 和 $f_{\text{spectral}}(\cdot )$。

Remark 1

1. 低秩分解的非唯一性：在定理 1 中，低秩矩阵分解一定存在，但不是唯一的。这是因为奇异值分解（SVD）中特征向量的表示不唯一，从而导致分解中的 $\mathbf{U}$ 和 ${\mathbf{U}}^{\prime }$ 以及 $\mathbf{V}$ 和 ${\mathbf{V}}^{\prime }$ 不同，例如 ${\mathbf{U}}^{\prime }=c\mathbf{U}$ 和 ${\mathbf{V}}^{\prime }=\mathbf{V}/c$，其中 $c$ 是一个非零标量。

2. CLoRF 的网络结构：CLoRF 由两个结构相同的子网络组成：空间 INR（Spatial-INR） 和 光谱 INR（Spectral-INR）。该网络框架通过低秩和平滑先验，学习生成光谱字典和空间系数矩阵，从而通过网络训练实现高光谱图像的低秩表示。空间基和光谱基的解空间受到 INR 参数的约束。此外，通过在损失函数中加入总变差（TV）先验，进一步限制了空间系数矩阵的解空间，有效减少了低秩分解中的歧义性。

• 命题 2 将矩阵秩的概念从离散矩阵扩展到连续矩阵函数，证明了矩阵函数的秩与其离散采样矩阵的秩一致。
• 定理 3 提出了连续低秩分解的理论框架，证明了低秩矩阵函数可以通过空间和光谱两个因子函数的乘积来表示。
• 备注 1 讨论了低秩分解的非唯一性，并介绍了 CLoRF 的网络结构及其如何通过 INR 和 TV 先验约束解空间，从而实现高效的低秩表示。

平滑性是高光谱图像（HSI）的另一个普遍属性，例如空间和光谱平滑性（Sun et al., 2021）。在这里，我们从理论上验证了我们的方法通过多层感知机（MLP）的特定结构隐式地引入了平滑正则化。

定理 4（Lipschitz 连续性）
设 $\mathbf{X}\in {\mathbb{R}}^{n_1\times n_2}$，且 ${\Phi }_{\alpha }(\cdot ):{\mathcal{A}}_f\to {\mathbb{R}}^K$ 和 ${\Psi }_{\theta }(\cdot ):{\mathcal{D}}_f\to {\mathbb{R}}^K$ 是两个具有参数 $\alpha$ 和 $\theta$ 的 MLP，其中 ${\mathcal{A}}_f\subset {\mathbb{R}}^2$ 和 ${\mathcal{Z}}_f\subset \mathbb{R}$ 是有界的，即对于任意 $s\in {\mathcal{A}}_f$ 和 $b\in {\mathcal{Z}}_f$，有 $\Vert s{\Vert }_1\le \zeta$ 和 $|b|\le \zeta$。假设 MLP 共享相同的激活函数 $\sigma (\cdot )$ 和深度 $d$，且 $c_{1i}=c_{2i}=0$（$\forall i$）。此外，我们假设：

1. $\sigma$ 是 Lipschitz 连续的，Lipschitz 常数为 $\kappa$，且 $\sigma (0)=0$；
2. $\Vert {\mathbf{W}}_{i1}{\Vert }_1$ 和 $\Vert {\mathbf{W}}_{i2}{\Vert }_1$ 对所有 $i$ 都被一个正常数 $\eta$ 所限制。

定义矩阵函数 $f(\cdot ):{\mathcal{D}}_f={\mathcal{A}}_f\times {\mathcal{Z}}_f\to \mathbb{R}$ 为：
$$f(s,b)={\Phi }_{\alpha }(s)\cdot {\Psi }_{\theta }(b{)}^T.$$
那么，对于任意 $(s_1,b_1),(s_2,b_2)\in {\mathcal{D}}_f$，以下不等式成立：
$$|f(s_1,b_1)-f(s_2,b_2)|\le \delta \Vert s_1-s_2{\Vert }_1+\delta |b_1-b_2|,$$
其中 $\delta ={\eta }^{2d+1}{\kappa }^{2d-2}\zeta$，且 ζ = max ⁡ { ∥ s 1 ∥ 1 , ∣ b 1 ∣ } \zeta = \max\{\|s_1\|_1, |b_1|\} ζ=max{∥s1​∥1​,∣b1​∣}。

证明：

首先将 $|f(s_1,b_1)-f(s_2,b_2)|$ 分解为两部分：
$$|f(s_1,b_1)-f(s_2,b_2)|\le |f(s_1,b_1)-f(s_2,b_1)|+|f(s_2,b_1)-f(s_2,b_2)|.$$

考虑第一部分：
$$|f(s_1,b_1)-f(s_2,b_1)|=|{\Phi }_{\alpha }(s_1)\cdot {\Psi }_{\theta }(b_1{)}^T-{\Phi }_{\alpha }(s_2)\cdot {\Psi }_{\theta }(b_1{)}^T|.$$
利用内积的性质，可以将其表示为：
$$|f(s_1,b_1)-f(s_2,b_1)|=|({\Phi }_{\alpha }(s_1)-{\Phi }_{\alpha }(s_2))\cdot {\Psi }_{\theta }(b_1{)}^T|.$$
根据 Cauchy-Schwarz 不等式，有：
$$|({\Phi }_{\alpha }(s_1)-{\Phi }_{\alpha }(s_2))\cdot {\Psi }_{\theta }(b_1{)}^T|\le \Vert {\Phi }_{\alpha }(s_1)-{\Phi }_{\alpha }(s_2){\Vert }_1\cdot \Vert {\Psi }_{\theta }(b_1){\Vert }_1.(C6)$$

假设激活函数 $\sigma (\cdot )$ 是 Lipschitz 连续的，即对于任意 $x,y$，有：
$$|\sigma (x)-\sigma (y)|\le \kappa |x-y|.$$
特别地，当 $y=0$ 时，由于 $\sigma (0)=0$，有：
$$|\sigma (x)|\le \kappa |x|.$$

定义 ${\psi }^{(1)}(b)={\mathbf{W}}_{11}b$，以及：
$${\psi }^{(k)}(b)={\mathbf{W}}_{1k}\sigma ({\psi }^{(k-1)}(b)),k=2,\dots ,d.$$
假设权重矩阵的 1-范数 $\Vert {\mathbf{W}}_{i1}{\Vert }_1$ 和 $\Vert {\mathbf{W}}_{i2}{\Vert }_1$ 对所有 $i$ 都被一个正常数 $\eta$ 所限制。因此，对于 ${\Psi }_{\theta }(b)$，有：
$$\Vert {\Psi }_{\theta }(b){\Vert }_1=\Vert {\psi }^{(d)}(b){\Vert }_1\le \Vert {\mathbf{W}}_{1d}{\Vert }_1\Vert \sigma ({\psi }^{(d-1)}(b)){\Vert }_1\le \eta \kappa \Vert {\psi }^{(d-1)}(b){\Vert }_1\le {\eta }^d{\kappa }^{d-1}|b|.(C7)$$

定义 ${\varphi }^{(1)}(s)={\mathbf{W}}_{21}s$，以及：
$${\varphi }^{(k)}(s)={\mathbf{W}}_{2k}\sigma ({\varphi }^{(k-1)}(s)),k=2,\dots ,d.$$
对于 ${\Phi }_{\alpha }(s_1)-{\Phi }_{\alpha }(s_2)$，有：
$$\Vert {\Phi }_{\alpha }(s_1)-{\Phi }_{\alpha }(s_2){\Vert }_1=\Vert {\varphi }^{(d)}(s_1)-{\varphi }^{(d)}(s_2){\Vert }_1.$$
利用 Lipschitz 连续性和权重矩阵的范数限制，可以得到：
$$\Vert {\varphi }^{(d)}(s_1)-{\varphi }^{(d)}(s_2){\Vert }_1\le \eta \kappa \Vert {\varphi }^{(d-1)}(s_1)-{\varphi }^{(d-1)}(s_2){\Vert }_1\le {\eta }^d{\kappa }^{d-1}\Vert s_1-s_2{\Vert }_1.(C8)$$

将式 (C7) 和式 (C8) 代入式 (C6)，得到：
$$|f(s_1,b_1)-f(s_2,b_1)|\le {\eta }^d{\kappa }^{d-1}\Vert s_1-s_2{\Vert }_1\cdot {\eta }^d{\kappa }^{d-1}|b_1|={\eta }^{2d}{\kappa }^{2d-2}|b_1|\Vert s_1-s_2{\Vert }_1.$$
由于 $|b_1|\le \zeta$，因此：
$$|f(s_1,b_1)-f(s_2,b_1)|\le {\eta }^{2d}{\kappa }^{2d-2}\zeta \Vert s_1-s_2{\Vert }_1.(C9)$$

类似地可以证明：
$$|f(s_2,b_1)-f(s_2,b_2)|\le {\eta }^{2d}{\kappa }^{2d-2}\zeta |b_1-b_2|.$$

将两部分结合起来，得到：
$$|f(s_1,b_1)-f(s_2,b_2)|\le |f(s_1,b_1)-f(s_2,b_1)|+|f(s_2,b_1)-f(s_2,b_2)|\le {\eta }^{2d}{\kappa }^{2d-2}\zeta \Vert s_1-s_2{\Vert }_1+{\eta }^{2d}{\kappa }^{2d-2}\zeta |b_1-b_2|.$$
令 $\delta ={\eta }^{2d+1}{\kappa }^{2d-2}\zeta$，则：
$$|f(s_1,b_1)-f(s_2,b_2)|\le \delta \Vert s_1-s_2{\Vert }_1+\delta |b_1-b_2|.$$

这种平滑性在非线性激活函数和权重矩阵的温和假设下隐式地编码，这些假设在实际实现中很容易满足。例如，我们使用了正弦激活函数，同时确保 MLP 网络中的权重有界（Sitzmann et al., 2020）。

备注 2
在定理 4 中，我们观察到平滑度 $\delta$ 与 Lipschitz 常数 $\kappa$ 和权重矩阵的上界 $\eta$ 相关。因此，在实践中可以通过调整以下两个变量来实现隐式平滑性的平衡：

1. 激活函数的选择：

   • 我们使用正弦函数 $\sigma (\cdot )=\sin ({\omega }_0\cdot )$ 作为 MLP 的非线性激活函数。
   • 由于正弦函数是 Lipschitz 连续的，我们可以通过调整 ${\omega }_0$ 的值来有效控制其 Lipschitz 常数 $\kappa$。具体来说，较小的 ${\omega }_0$ 会导致较小的 $\kappa$，从而产生更平滑的结果。

2. 权重矩阵的上界控制：

   • 我们可以通过调整 MLP 权重的能量正则化（通常称为权重衰减）来控制权重矩阵的上界 $\eta$。
   • 这种方法允许我们控制 $\eta$ 的强度。

备注 3
假设定理 4 中的假设成立。我们定义 $f(\cdot ):=[{\Phi }_{\alpha },{\Psi }_{\theta }](\cdot )$。那么，对于任意使用坐标向量 $s\in {\mathcal{A}}_f$ 和 $t\in {\mathcal{Z}}_f$ 采样的矩阵 $\mathbf{M}\in \mathcal{S}[f]$（其中 $\mathcal{S}[f]$ 是矩阵函数 $f(\cdot )$ 的采样矩阵集，如定义 1 中所定义），以下不等式对于 $(i,j)$（$i=1,2,\dots ,n_1$，$j=1,2,\dots ,n_2$）成立：
$$|\mathbf{M}(s_i,t_j)-\mathbf{M}(s_{i-1},t_{j-1})|\le \delta \Vert s_i-s_{i-1}{\Vert }_1+\delta |t_j-t_{j-1}|,(8)$$

其中 $\delta ={\eta }^{2d+1}{\kappa }^{2d-2}\zeta$，且 ζ = max ⁡ { ∥ s 1 ∥ 1 , ∣ b 1 ∣ } \zeta = \max\{\|s_1\|_1, |b_1|\} ζ=max{∥s1​∥1​,∣b1​∣}。

备注 3 表明，对于任意采样矩阵 $\mathbf{M}\in \mathcal{S}[f]$，相邻元素之间的差异受到对应坐标之间距离的限制，并包含一个常数因子 $\delta$。