【西瓜书】线性判别分析-LDA
- 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法。在二分类问题上，因为最早由Fisher提出，也称“Fisher判别分析”。
- 严格说来，LDA 与 Fisher判别分析稍有不同，LDA假设了各类样本的协方差矩阵相同且满秩。
- LDA的核心思想：
- 给定训练样例集，设法将样例投影到一条直线上；
- 使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；
- 在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的分类；新样本的投影离哪一类投影更近，则将其判为哪一类。
- 因此，LDA是一种经典的降维方法，属于监督降维方法。参见下图，将二维上的点降维到一维直线w上。
- 如何计算
- 要使同类样例的投影点尽可能接近，可以让同类样例投影的斜方差尽可能小。
- 要使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大。
- 同时考虑这两者就可以得到最大化的目标。
-
LDA可以从贝叶斯决策理论的角度来阐释：当两类数据同先验、满足高斯分布且协方差相等时LDA可达到最优分类。
-
可将LDA扩展到多分类中，则多分类LDA将样本从d维投影到
维空间，新的维度通常小于数据的原有维度d。因此LDA被看做经典的监督降维技术。