线性判别分析(LDA)中计算两个类的中心点在投影方向w上的投影示例
通过一个具体的例子,详细说明 w T μ 0 w^T \mu_0 wTμ0 和 w T μ 1 w^T \mu_1 wTμ1 如何表示两个类的中心点在投影方向 w w w 上的投影。
假设:
我们有两个类的数据集,均值向量 μ 0 \mu_0 μ0 和 μ 1 \mu_1 μ1,以及投影方向(权重向量) w w w 如下:
- 类 0 的均值向量 μ 0 = [ 2 3 ] \mu_0 = \begin{bmatrix} 2 \\ 3 \end{bmatrix} μ0=[23]
- 类 1 的均值向量 μ 1 = [ 4 5 ] \mu_1 = \begin{bmatrix} 4 \\ 5 \end{bmatrix} μ1=[45]
- 投影方向 w = [ 1 2 ] w = \begin{bmatrix} 1 \\ 2 \end{bmatrix} w=[12]
我们将分别计算类 0 和类 1 的中心点在投影方向 w w w 上的投影。
1. 计算类 0 的中心点在投影方向 w w w 上的投影 w T μ 0 w^T \mu_0 wTμ0:
w
T
μ
0
=
[
1
2
]
[
2
3
]
w^T \mu_0 = \begin{bmatrix} 1 & 2 \end{bmatrix} \begin{bmatrix} 2 \\ 3 \end{bmatrix}
wTμ0=[12][23]
我们进行矩阵乘法:
w
T
μ
0
=
1
×
2
+
2
×
3
=
2
+
6
=
8
w^T \mu_0 = 1 \times 2 + 2 \times 3 = 2 + 6 = 8
wTμ0=1×2+2×3=2+6=8
因此,类 0 的中心点在投影方向
w
w
w 上的投影为 8。
2. 计算类 1 的中心点在投影方向 w w w 上的投影 w T μ 1 w^T \mu_1 wTμ1:
w
T
μ
1
=
[
1
2
]
[
4
5
]
w^T \mu_1 = \begin{bmatrix} 1 & 2 \end{bmatrix} \begin{bmatrix} 4 \\ 5 \end{bmatrix}
wTμ1=[12][45]
我们进行矩阵乘法:
w
T
μ
1
=
1
×
4
+
2
×
5
=
4
+
10
=
14
w^T \mu_1 = 1 \times 4 + 2 \times 5 = 4 + 10 = 14
wTμ1=1×4+2×5=4+10=14
因此,类 1 的中心点在投影方向
w
w
w 上的投影为 14。
解释:
- 类 0 的中心点在投影方向 w w w 上的投影结果是 8。
- 类 1 的中心点在投影方向 w w w 上的投影结果是 14。
这两个投影值表示类 0 和类 1 在方向 w w w 上的中心点位置。通过将每个类的均值向量投影到 w w w 上,我们得到了两个类的中心点在一维空间的表示。LDA 的目标就是通过选择最佳的投影方向 w w w,使得这两个投影值的差异最大化,即类间差距增大。
总结:
在这个例子中,类 0 的中心点在投影方向上的值为 8,类 1 的中心点在投影方向上的值为 14。这两个投影值可以用来衡量类之间的差距,LDA 的目标就是找到一个最优的 w w w,使得这两个值之间的差距最大化,同时最小化类内散度。