让我们假设类条件密度是高斯分布,然后探讨后验概率的形式。首先,我们假设所有类别共享相同的协方差矩阵。那么类的密度由

首先,考虑二分类情形。根据式(4.57)(4.58)得到

其中我们定义了

我们看到高斯密度指数项中的的二次型消失了(由于我们假设相同的协方差矩阵)导致logistic sigmoid函数的参数中关于的线性函数。图4.10在二维输入空间下展示了这个结果。

图 4-10
图 4.10 左图给出了两个类别的类条件概率密度,分别用红色和蓝色表示。右图给出了对应的后验概率分布

得到的决策边界对应于后验概率为常数的面,且是由的线性函数给出,从而决策边界在输入空间是线性的。先验概率密度只出现在偏置参数中,所以先验的改变的结果是平移决策边界,即平移常数后验概率的等高线。

对于个类别的一般情形,根据式(4.62)和(4.63),得到

其中我们定义了

我们看到,由于各个类别的协方差矩阵相同,使得二次项被消去,从而与之前一样是的线性函数。最终的决策边界,对应最小错误分类率,会出现在当两个后验概率(两个最大)相等的位置,且是由的线性函数定义,从而我们再次得到了一个广义线性模型。

如果我们不假设各个类别的协方差矩阵相同,而是允许每个类条件密度有自己的协方差矩阵,那么之前消去想的情况就不会出现,从而我们会得到的二次函数,这就引出了二次判别式(quadratic discriminant)。图4.11展示了线性的和二次的决策边界。

图 4-11
图 4.11 左图给出了三个类别的类都是高斯分布的条件密度,分别用红、绿、蓝表示,其中红色和绿色的类别有相同的协方差矩阵。右图给出了对应的后验概率分布,其中RGB的颜色向量表示三个类别各自的后验概率。决策边界由白线标示。注意,具有相同协方差矩阵的红色类别和绿色类别的决策边界是线性的,而其他类别之间的类别的决策边界是二次的。

results matching ""

    No results matching ""