《机器学习数学基础》补充资料:超平面
在拙作《机器学习数学基础》 285页-286页,根据伯努利分布,推导出了 logistic 函数,并得到了286页的(5.3.16)式:
log P ( C 1 ) ∣ x 1 − P ( C 1 ) ∣ x = w T x + w 0 (5.3.16) \log\frac{P(C_1)|\pmb{x}}{1-P(C_1)|\pmb{x}}=\pmb{w}^{\text{T}}\pmb{x}+w_0\tag{5.3.16} log1−P(C1)∣xP(C1)∣x=wTx+w0(5.3.16)
将此式用于探讨线性判别分析,则有 w T x + w 0 = 0 \pmb{w}^\text{T}\pmb{x}+w_0=0 wTx+w0=0 ,在二维空间中,这表示的是直线,如果针对多维空间,则是超平面(hyperlane)。
1. 超平面的另一种定义方式
1.1 代数定义
对于三维空间中平面,如果推广到 R n \mathbb{R}^n Rn 空间,即有线性方程组:
a
T
x
=
d
(1)
\pmb{a}^{\text{T}}\pmb{x}=d\tag{1}
aTx=d(1)
的解所形成的集合(其中
a
=
[
a
1
⋮
a
n
]
,
x
=
[
x
1
⋮
x
n
]
\pmb{a}=\begin{bmatrix}a_1\\\vdots\\a_n\end{bmatrix},\pmb{x}=\begin{bmatrix}x_1\\\vdots\\x_n\end{bmatrix}
a=
a1⋮an
,x=
x1⋮xn
,
d
d
d 是实数)就构成了超平面,其向量表达式可以写成:
H = { x ∈ R n ∣ a T x = d } (2) {H}=\{\pmb{x}\in\mathbb{R}^n|\pmb{a}^{\text{T}}\pmb{x}=d\}\tag{2} H={x∈Rn∣aTx=d}(2)
1.2 几何定义
设 W W W 是 R n \mathbb{R}^n Rn 的一个子空间, W W W 自原点平移 q \pmb{q} q 之后所得到的集合 S S S 称为仿射空间 [ 1 ] ^{[1]} [1],如下图所示。记作:
S = W + q = { w + q ∣ w ∈ W } (3) S=W+\pmb{q}=\{\pmb{w}+\pmb{q} \mid \pmb{w} \in W\}\tag{3} S=W+q={w+q∣w∈W}(3)
在 R n \mathbb{R}^n Rn 中,超平面是一个维数等于 n − 1 n-1 n−1 的仿射空间,或者说,除了 R n \mathbb{R}^n Rn 本身,超平面是具有最大维数的仿射空间。
以上两个定义具有等价性。
参考资料
[1]. 仿射变换[DB/OL]. https://lqlab.readthedocs.io/en/latest/math4ML/linearalgebra/affine.html