对比高斯模型的EM算法与K均值算法,可以看到二者有很强的相似性。K均值算法对数据点的聚类进行了“硬”分配,即每个数据点只属于唯一的聚类,而EM算法基于后验概率分布,进 行了一个“软”分配。实际上,我们可以将K均值算法看成高斯混合模型的EM算法的一个特殊的极限情况,如下所述:

考虑一个高斯混合模型,其中混合分量的协方差矩阵为是一个被所有分量共享的方差参数,是单位矩阵,从而

我们现在考虑个这种形式的高斯分布组成的混合模型的EM算法,其中我们将看做一个固定的常数,而不是一个需要重新估计的参数。根据式(9.13),对于一个特定的数据点,后验概率(或“责任”)为

如果我们考虑极限情况,那么我们看到,在分母中,最小的项将会最慢地趋近于0,因此对于数据点,只有项j的“责任”趋近于1,其他的项的“责任””都趋近于0。因此,在这种极限情况下,我们得到了对数据点聚类的一个硬分配,与K-均值算法相同,从而”,其中由式(9.2)定义。因此,每个数据点都被分配为距离最近的均值的聚类。

这样,式(9.17)给出的的EM重估计就简化为了K均值的结果(9.4)。注意,混合系数(9.22)的重估计公式仅仅将的值重新设置为等于分配到聚类k中的数据点的比例,虽然这些参数在算法中不再起作用。

最后,在极限的情况下,式(9.40)给出的完整数据的对数似然函数变成了

因此在极限的情况下,最大化完整数据对数似然函数的期望等价于最小化式(9.1)给出的K-均值算法的失真度量

注意,K-均值算法没有估计聚类的协方差,而是只估计了聚类的均值。一个带有一般协方差矩阵的硬分配版本的高斯混合模型被称为椭圆K-均值算法(elliptical K-means algorithm),由Sung and Poggio(1994)提出。

results matching ""

    No results matching ""