【机器学习】23. 聚类-GMM: Gaussian Mixture Model
1. 定义和假设
定义：probabilistic clustering（model-base）
假设：数据服从正态分布
2. 算法内容
我们假设数据是由k个高斯（正态）分布混合生成的。每个分布有2个参数：μ和σ。
一个分布对应一个集群
从u和o的随机初始值开始
在每次估计后，我们计算每个例子属于每个分布（簇）的概率
利用概率，我们重新计算参数，直到它们不变。
案例
假设有20000个数据点，两个高斯分布，两个标准差都是2，使用GMM聚类。
- 初始化均值方差。标准差限定了，初始均值即可。随机初始化均值分别为-2和3
- 根据贝叶斯计算概率
0.5 是每个分布的权重 - 更新均值
新的均值是基于数据点的加权平均值计算的. 权重由每个数据点属于特定分布的概率决定 - 迭代和收敛, 重复步骤2和步骤3, 直到μ不再产生变化或变化非常小, 数据点最终分配给概率更高的分布
3. 和K-Means对比
k-means: crisp(hard)-assignment
GMM – probabilistic(soft assignment)
GMM可以看作是k均值的泛化
GMM更灵活。允许椭圆的cluster而不是圆形