给定一个新特征向量,类的预测分布可以通过边缘化由高斯分布近似得到的后验分布来获得:

且类别的对应的概率为。为了计算预测分布,注意,函数只依赖于的投影。记得到

其中是Dirac delta函数。根据这些得到

其中

注意,Delta函数对施加了一个线性限制,因此在所有与正交的方向上积分,就得到了联合概率分布的边缘分布,这样就得到。因为是高斯的,从2.3.2节中我们知道边缘分布也是高斯的。我们可以通过动差然后交换的积分顺序来计算这个分布的均值和方差,即:

其中我们使用了式(4.144)给出的后验分布的结果。类似的

注意,令噪声方差为零,的分布的函数形式与线性回归模型的预测分布(3.58)相同。因此对预测分布的近似变成了

这个结果也可以直接通过2.3.2节给出的高斯分布的边缘概率的结果推导出来。

的积分表示高斯分布和logistic sigmoid函数的卷积,不能解析的计算。然而,可以通过(4.59)定义的logistic sigmoid函数和(4.114)定义的probit函数间的相似性来得到一个较好的近似(Spiegelhalter and Lauritzen, 1990; MacKay, 1992b; Barber and Bishop, 1998a)。为了得到logistic函数最好的近似,需要重新定义横轴标度来使近似。令两个函数在原点处有同样的斜率,可以找到的合适值:。这个的选择的logistic sigmoid函数和probit函数在图4.9中展示。

使用probit函数的一个优势是它与高斯的卷积可以用另一个probit函数解析地表示出来。特别的,我们可以证明

现在,对方程的两边应用probit函数的近似,得到logistic sigmoid函数与高斯的卷积近似:

其中我们定义

对式(4.151)应用这个结果得到预测分布的近似形式:

其中分别由(4.149)(4.150)定义,由(4.154)定义。

注意,对应的决策边界由给出,这与使用MAP得到的的值得到的决策边界相同。因此,如果决策准则是基于先验概率相同的最小分类错误率,那么对的边缘化是没有效果的。然而,对于更复杂的决策准则,它就起着重要的作用。在后验概率分布的高斯近似下,对logistic sigmoid模型的边缘化将在变量推断的问题下的图10.13中进行说明。

results matching ""

    No results matching ""