【AI数学基础】线性代数：内积和范数
（观前提醒，这是工科AI相关的数学基础的学习笔记，不是数学专业的文章，所以没有严谨的证明和定义，数院大神请勿批评）
2. 内积和范数
2.1 内积的定义
从代数的角度来说，内积是两个向量之间的一种运算，其结果是一个实数。
设由两个
n
n
n维向量：
x
=
[
x
1
x
2
⋯
x
n
]
,
y
=
[
y
1
y
2
⋯
y
n
]
\mathbf{x}=\left[\begin{array}{c} x_{1} \\ x_{2} \\ \cdots \\ x_{n} \end{array}\right], \mathbf{y}=\left[\begin{array}{c} y_{1} \\ y_{2} \\ \cdots \\ y_{n} \end{array}\right]
x=
x1x2⋯xn
,y=
y1y2⋯yn
令
x
⋅
y
=
x
1
y
1
+
x
2
y
2
+
⋯
+
x
n
y
n
\mathbf{x} \cdot \mathbf{y}=x_{1} y_{1}+x_{2} y_{2}+\cdots+x_{n} y_{n}
x⋅y=x1y1+x2y2+⋯+xnyn，
x
⋅
y
\mathbf{x} \cdot \mathbf{y}
x⋅y为向量
x
\mathbf{x}
x和向量
y
\mathbf{y}
y的内积。
内积具有下列性质（其中
x
,
y
,
z
\mathbf{x},\mathbf{y},\mathbf{z}
x,y,z为
n
n
n维向量，
λ
\lambda
λ为实数）：
- x ⋅ y = y ⋅ x \mathbf{x}\cdot\mathbf{y}=\mathbf{y}\cdot\mathbf{x} x⋅y=y⋅x；
- ( λ x ) ⋅ y = x ⋅ ( λ y ) (\lambda\mathbf{x})\cdot\mathbf{y}=\mathbf{x}\cdot(\lambda\mathbf{y}) (λx)⋅y=x⋅(λy)；
- ( x + y ) ⋅ z = x ⋅ z + y ⋅ z (\mathbf{x}+\mathbf{y})\cdot\mathbf{z}=\mathbf{x}\cdot\mathbf{z}+\mathbf{y}\cdot\mathbf{z} (x+y)⋅z=x⋅z+y⋅z；
- 当 x = 0 \mathbf{x}=\mathbf{0} x=0时， x ⋅ x = 0 \mathbf{x}\cdot\mathbf{x}=0 x⋅x=0；当 x ≠ 0 \mathbf{x}\ne\mathbf{0} x=0时， x ⋅ x > 0 \mathbf{x}\cdot\mathbf{x}>0 x⋅x>0.
2.2 范数的定义
2.2.1范数的定义
范数定义了向量空间里的距离，范数能将一组实数列表（向量）映射成一个实数，它的出现使得向量之间的比较称为了可能。（其实就是向量的长度）
如果向量
x
∈
R
n
x\in\mathbb{R}^{n}
x∈Rn的某个实值函数
f
(
x
)
=
∣
∣
x
∣
∣
f(x)=||x||
f(x)=∣∣x∣∣满足：
- 正定性： ∣ ∣ x ∣ ∣ ⩾ 0 ||x||\geqslant 0 ∣∣x∣∣⩾0且 ∣ ∣ x ∣ ∣ = 0 ||x||=0 ∣∣x∣∣=0当且仅当 x = 0 x=0 x=0；
- 齐次性：对任意实数 α \alpha α，都有 ∣ ∣ α x ∣ ∣ = ∣ α ∣ ⋅ ∣ ∣ x ∣ ∣ ||\alpha x||=|\alpha|\cdot||x|| ∣∣αx∣∣=∣α∣⋅∣∣x∣∣；
- 三角不等式：对任意 x , y ∈ R n x,y\in\mathbb{R}^{n} x,y∈Rn，都有 ∣ ∣ x + y ∣ ∣ ⩽ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y||\leqslant||x||+||y|| ∣∣x+y∣∣⩽∣∣x∣∣+∣∣y∣∣；
满足上述三条性质，则称 ∣ ∣ x ∣ ∣ ||x|| ∣∣x∣∣为 R n \mathbb{R}^{n} Rn上的一个向量范数。
2.2.2 常见的范数
常用的向量范数有：
- L1范数：也叫曼哈顿距离，其公式为 ∥ x ∥ 1 = ∑ i ∣ x i ∣ \|x\|_{1}=\sum\limits_{i}\left|x_{i}\right| ∥x∥1=i∑∣xi∣，它是一个向量中所有元素的绝对值之和；
- L2范数：也叫欧几里得距离，其公式为 ∥ x ∥ 2 = ∑ i x i 2 \|x\|_{2}=\sqrt{\sum\limits_{i} x_{i}^{2}} ∥x∥2=i∑xi2，对一个向量中所有元素取平方和，然后再开方。
2.3 内积的几何解释
知道范数的本质是距离之后，我们就可以从几何角度来解释内积，内积定义了向量空间里的角度。比如说，在向量空间中存在两个向量
u
\mathbf{u}
u和
v
\mathbf{v}
v，它们之间的夹角是
θ
\theta
θ.
u
∙
v
=
∥
u
∥
∥
v
∥
cos
θ
\mathbf{u} \bullet \mathbf{v}=\|\mathbf{u}\|\|\mathbf{v}\| \cos \theta
u∙v=∥u∥∥v∥cosθ
