在6.1节,通过将对偶性的概念应用于回归的非概率模型,我们引出了核的概念。这里,我们把核的角色推广到概率判别式模型中,引出了高斯过程的框架。于是,我们会看到在贝叶斯方法中,核是如何自然地被引入的。

在第3章,我们考虑了形式为线性回归模型,其中是一个参数向量,是一个与输入向量相关的固定非线性基函数向量。我们证明了,上的先验分布会产生函数上的一个对应的先验分布。给定一个训练数据集,我们计算上的后验概率分布,从而就得到和回归函数的对应的后验概率分布。回归函数反过来(叠加上噪声)表示了对新输入向量x的一个预测分布

在高斯过程的观点中,我们抛弃参数模型,直接定义函数上的先验概率分布。乍一看来,在函数组成的不可数的无穷空间中对概率分布进行计算似乎很困难。但是,正如我们将看到的那样,对于一个有限的训练数据集,我们只需要考虑训练数据集和测试数据集的输入处的函数值即可,因此在实际应用中我们可以在有限的空间中进行计算。

等价于高斯过程的模型在许多不同领域被广泛研究。例如,在统计地质学中文献中,高斯过程回归被称为kriging(Cressie, 1993)。类似地,ARMA(自动回归移动平均autoregressive moving average)模型、Kalman滤波以及径向基函数网络都可以被看成高斯过程模型的形式。关于从机器学习的角度对高斯过程的回顾,可以参考MacKay(1998)、Williams(1999)和MacKay(2003)。Rasmussen(1996)给出了一个不同的方法来对各个高斯过程模型进行对比。有关高斯过程的最近的教科书,可以参考Rasmussen and Williams(2006)。

results matching ""

    No results matching ""