在6.1节，通过将对偶性的概念应用于回归的非概率模型，我们引出了核的概念。这里，我们把核的角色推广到概率判别式模型中，引出了高斯过程的框架。于是，我们会看到在贝叶斯方法中，核是如何自然地被引入的。
在第3章，我们考虑了形式为线性回归模型，其中是一个参数向量，是一个与输入向量相关的固定非线性基函数向量。我们证明了，上的先验分布会产生函数上的一个对应的先验分布。给定一个训练数据集，我们计算上的后验概率分布，从而就得到和回归函数的对应的后验概率分布。回归函数反过来（叠加上噪声）表示了对新输入向量x的一个预测分布。
在高斯过程的观点中，我们抛弃参数模型，直接定义函数上的先验概率分布。乍一看来，在函数组成的不可数的无穷空间中对概率分布进行计算似乎很困难。但是，正如我们将看到的那样，对于一个有限的训练数据集，我们只需要考虑训练数据集和测试数据集的输入处的函数值即可，因此在实际应用中我们可以在有限的空间中进行计算。
等价于高斯过程的模型在许多不同领域被广泛研究。例如，在统计地质学中文献中，高斯过程回归被称为kriging（Cressie, 1993）。类似地，ARMA（自动回归移动平均autoregressive moving average）模型、Kalman滤波以及径向基函数网络都可以被看成高斯过程模型的形式。关于从机器学习的角度对高斯过程的回顾，可以参考MacKay(1998)、Williams(1999)和MacKay(2003)。Rasmussen(1996)给出了一个不同的方法来对各个高斯过程模型进行对比。有关高斯过程的最近的教科书，可以参考Rasmussen and Williams(2006)。