向量空间与函数空间的类比分析

基与向量空间

基本概念

• 向量空间：一个向量空间是由一组遵循特定加法和数乘运算规则的元素（称为向量）组成的集合。
• 基：向量空间中的一组向量如果它们线性无关并且可以生成整个向量空间，则这组向量称为该向量空间的一个基。
• 向量的坐标表示：给定向量空间中的一个基，任何向量都可以唯一地表示为这个基中向量的线性组合。这个线性组合中各基向量对应的系数构成了该向量在这个基下的坐标。

向量空间的基

在向量空间 $V$中，一组向量 { v 1 , v 2 , … , v n } \{v_1, v_2, \ldots, v_n\} {v1​,v2​,…,vn​}称为 $V$ 的一个基，如果它们满足两个条件：

1. 线性无关：不存在一组不全为零的标量$c_1,c_2,\dots ,c_n$使得$c_1{v}_1+c_2{v}_2+\cdots +c_n{v}_n=0$。也就是如果让等式成立，系数必须全为0。（我不明白为什么数学总不说人话。）
2. 生成空间：对于$V$中的任意向量$v$，存在一组标量$a_1,a_2,\dots ,a_n$使得$v=a_1{v}_1+a_2{v}_2+\cdots +a_n{v}_n$。

向量空间的基提供了一种数据压缩的方式来描述空间中的每一个向量。每个向量都可以被唯一的线性组合表示，而这个组合的系数即为向量在此基下的坐标。

向量空间中的表示系数

在向量空间中，向量在基下的表示系数可以通过向量与基的内积来计算，这实际上是向量在基向量上的投影。这种方法尤其适用于当基向量是正交（甚至是标准正交）的情况，因为这样可以简化系数的计算过程。而对于非正交基，虽然也可以通过求解线性方程组来找到系数，但是过程会相对复杂一些。

假设有一个向量空间 $V$，以及一个正交基 B = { v 1 , v 2 , … , v n } B = \{v_1, v_2, \ldots, v_n\} B={v1​,v2​,…,vn​}。如果向量 $x$ 可以表示为这些基向量的线性组合：

$$x=a_1{v}_1+a_2{v}_2+\cdots +a_n{v}_n$$

那么系数 $a_i$ 可以通过向量 $x$ 与基向量 $v_i$ 的内积来计算。这是因为，如果基向量是正交的，那么：

$$⟨x,v_i⟩=⟨a_1{v}_1+a_2{v}_2+\cdots +a_n{v}_n,v_i⟩$$

由于基向量之间是正交的，我们有：

$$⟨v_j,v_i⟩=0\text{对于所有的}j\ne i$$

因此，

$$⟨x,v_i⟩=⟨a_1{v}_1+a_2{v}_2+\cdots +a_n{v}_n,v_i⟩=a_i⟨v_i,v_i⟩$$

如果基向量是单位向量（即标准正交基），那么 $⟨v_i,v_i⟩=1$，从而简化为：

$$a_i=⟨x,v_i⟩$$

如果基不是单位向量，那么需要除以 $⟨v_i,v_i⟩$ 来得到系数：

$$a_i=\frac{⟨x,v_i⟩}{⟨v_i,v_i⟩}$$

计算步骤

1. 计算内积
   对于每一个基向量 $v_i$，计算向量 $x$ 与 $v_i$ 的内积 $⟨x,v_i⟩$。
   标准化（如果必要）：如果基向量不是单位向量，需要计算 $⟨v_i,v_i⟩$，并将其作为分母。
2. 求解系数
   使用上述公式 $a_i=\frac{⟨x,v_i⟩}{⟨v_i,v_i⟩}$ 来求得系数 $a_i$。

二维空间中的向量

在二维空间中，假设有两个基向量 ${\mathbf{e}}_1$ 和 ${\mathbf{e}}_2$，它们不共线。那么，该空间中的任意向量 $\mathbf{v}$ 都可以唯一地表示为这两个基向量的线性组合：

$$\mathbf{x}=a_1{\mathbf{e}}_1+a_2{\mathbf{e}}_2$$

其中，$a_1$ 和 $a_2$ 是标量，称为向量 $\mathbf{v}$ 在基 ${\mathbf{e}}_1,{\mathbf{e}}_2$ 下的坐标。

假设 ${\mathbf{e}}_1=\left(\begin{array}{c}1\\ 0\end{array}\right)$ 和 ${\mathbf{e}}_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$ 是二维空间中的标准基向量，向量 $\mathbf{x}=\left(\begin{array}{c}3\\ 4\end{array}\right)$。则 $\mathbf{v}$ 在这个基下的表示为：

$$\mathbf{v}=3{\mathbf{e}}_1+4{\mathbf{e}}_2$$

计算过程

1. 计算内积：

   • $⟨x,e_1⟩=3\cdot 1+4\cdot 0=3$
   • $⟨x,e_2⟩=3\cdot 0+4\cdot 1=4$

2. 求解系数：

   • 因为$e_1$和$e_2$都是单位向量，所以$⟨e_1,e_1⟩=1$和$⟨e_2,e_2⟩=1$。
   • 因此，$a_1=3$和$a_2=4$。

最终，向量$x$在基 $e$下的表示系数为$(3,4)$。

向量在不同基下的表示

PPT中的图展示了向量在不同基底之间的表示，以及正变换和逆变换的公式。
禹晶、肖创柏、廖庆敏《数字图像处理》资源二维码

1. 图示：

   • 向量 $\mathbf{a}$。
   • $u_1$ 和$u_2$ 是一个基底。
   • $v_1$ 和$v_2$ 是另一个基底。

2. 正变换公式：
   $$a_u(i)=⟨{\mathbf{a}}_v,{\mathbf{u}}_i⟩$$
   这个公式表示向量 $\mathbf{a}$ 在基底 $\mathbf{u}$下的第 $i$ 个分量$a_u(i)$是向量${\mathbf{a}}_v$与基向量${\mathbf{u}}_i$的内积。

3. 逆变换公式：
   $${\mathbf{a}}_v=\sum _i{a}_u(i){\mathbf{u}}_i$$
   这个公式表示向量${\mathbf{a}}_v$可以通过将向量$\mathbf{a}$在基底$\mathbf{u}$下的分量$a_u(i)$与相应的基向量${\mathbf{u}}_i$相乘并求和得到。

这些公式展示了如何在不同基底之间转换向量的表示。正变换用于将向量从一个基底转换到另一个基底，而逆变换则用于将向量从另一个基底转换回原来的基底。

基与函数空间

函数空间的基允许我们将复杂的函数分解成一组较简单的函数的线性组合。函数空间可以被视为一种特殊的向量空间，其中的“向量”是函数。

基本概念

在函数空间 $F$ 中，如果存在一组函数 { f 1 , f 2 , … } \{f_1, f_2, \ldots\} {f1​,f2​,…}，它们满足以下两个条件：

1. 线性无关：不存在一组不全为零的标量 $c_1,c_2,\dots$，使得 $c_1{f}_1+c_2{f}_2+\cdots =0$，其中$0$表示零函数（对所有输入都输出0的函数）。
2. 生成空间：对于$F$中的任意函数$f$，存在一组标量$a_1,a_2,\dots$，使得$f$可以被近似为$\sum a_i{f}_i$，通常是在某种范数或度量下的极限形式。

这样的函数集 { f 1 , f 2 , … } \{f_1, f_2, \ldots\} {f1​,f2​,…}称为函数空间$F$的一个基。

常见的函数基

1. 傅里叶基：

   • 在周期函数空间中，傅里叶基由正弦和余弦函数组成。对于一个周期为 $T$的周期函数$f(t)$，其傅里叶级数可以写作：
     $f(t)=a_0+{\sum }_{n=1}^{\infty }\left(a_n\cos \left(\frac{2\pi nt}{T}\right)+b_n\sin \left(\frac{2\pi nt}{T}\right)\right)$
     傅里叶分析：傅里叶基广泛应用于频谱分析、信号处理、图像处理等领域，用于分析周期性或准周期性的信号。

2. 多项式基：

   • 对于多项式空间，基可以是标准的单变量多项式，如 { 1 , t , t 2 , … , t n } \{1, t, t^2, \ldots, t^n\} {1,t,t2,…,tn}。
   • 特殊的多项式基还包括正交多项式，如勒让德多项式、拉盖尔多项式、雅可比多项式等。
     多项式拟合：多项式基用于拟合数据，特别是在回归分析中，可以用来逼近数据的趋势。

3. 小波基：

   • 小波是一类具有局域性质的函数，可以用来分析信号的局部特征。小波变换可以提供时间和频率上的局部化信息。
   • 常见的小波基包括Haar小波、Daubechies小波等。
     小波分析：小波基在图像压缩、去噪、边缘检测等方面有着广泛的应用。

4. 指数基：

   • 指数函数可以用来表示非周期函数。例如，对于一个定义在实数轴上的函数，可以使用指数函数的线性组合来表示它。
     -信号处理：指数基在信号的频域分析中有重要作用，如拉普拉斯变换、Z变换等。

按照习惯，书中的傅里叶变换以函数基来写，但是，在有限范围内，可以看成两个矩阵之间的内积（借用向量内积的概念）。傅里叶变换如果理解为一个图像块$\mathbf{f}$与不同基图像（可以用矩阵表示）的内积，就很简单了。向量空间和函数空间中基的概念本质是相同的，而且在一定程度可以相互转换。

禹晶、肖创柏、廖庆敏《数字图像处理（面向新工科的电工电子信息基础课程系列教材）》P111

两者之间的关系

相同点

1. 表示方法：
   • 在向量空间中，基向量通过线性组合（即加法和数乘的有限次应用）可以表示出空间中的任意向量。
   • 在函数空间中，基函数通过线性组合（同样是加法和数乘的有限次或无限次应用，取决于空间的具体性质）可以表示出空间中的任意函数。

在向量空间中，向量可以用基向量的线性组合来表示；在函数空间中，函数可以用基函数的线性组合来表示。

2. 唯一表示：
   • 在向量空间中，如果一组向量是基，那么它们表示空间中任意向量的方式是唯一的（在忽略标量倍数的意义下）。
   • 在函数空间中，如果一组函数是基，那么它们表示空间中任意函数的方式也是唯一的（同样在忽略标量倍数的意义下，但可能涉及到无限级数的收敛性）。

无论是向量还是函数，基的线性无关性都是确保能够唯一表示空间内元素的关键性质。

3. 维度：

   • 向量空间和函数空间都可以有有限的或无限的维度。在有限维空间中，基向量的数量（或基函数的数量）等于空间的维度。
   • 在无限维函数空间中，基函数的数量通常是可数的或不可数的，这取决于空间的具体定义和性质。

4. 变换
   在向量空间中，可以通过矩阵变换来改变基；类似地，在函数空间中，可以通过积分变换（如傅里叶变换、拉普拉斯变换等）来改变基。

不同点

1. 元素性质：

   • 向量空间中的元素是向量，它们通常是有限维的，并且可以用坐标（或分量）来表示。
   • 函数空间中的元素是函数，它们是无限维的（因为函数的定义域通常包含无限多个点），并且通常通过函数表达式或函数图像来描述。

2. 线性组合的收敛性：

   • 在向量空间中，线性组合总是有限的，因此不存在收敛性问题。
   • 在函数空间中，特别是无限维函数空间中，线性组合可能是无限的（即级数或积分），因此需要考虑级数的收敛性。