高斯过程模型的预测部分依赖于协方差函数的选择。实际运用中，比起拟合协方差矩阵，我们更喜欢使用一组带参数的函数，然后根据数据推断出它们的值。这些参数控制了相关性的长度缩放以及噪声的精度等等，对应于标准参数模型的超参数。
学习超参数的方法基于计算似然函数$p(t|\theta)$，其中$\theta$表示高斯过程模型的超参数。最简单的方法是通过最大化似然函数的方法进行$\theta$的点估计。由于$\theta$表示回归问题的一组超参数，因此这可以看成类似于线性回归模型的第二类最大似然步骤。可以使用高效的基于梯度的最优化算法（如共轭梯度法）来最大化对数似然函数（Fletcher, 1987; Nocedal and Wright, 1999; Bishop and Nabney, 2008）。

使用多元高斯分布的标准形式，高斯过程模型的形式为

$$\ln p(t|\theta) = -\frac{1}{2}\ln\vert C_N \vert - \frac{1}{2}t^TC_N^{-1}t - \frac{N}{2}\ln(2\pi) \tag{6.69}$$

的对数似然函数很容易计算。对于非线性最优化，我们也需要对数似然函数关于参数向量$\theta$的梯度。我们假设计算$C_N$的导数就是比较简单的，本章中讨论的协方差函数的情形。使用式（C.21）给出的$C_N^{-1}$的导数，以及式（C.22）给出的$\ln\vert C_N \vert$的结果，得到

$$\frac{\partial}{\partial \theta_i}\ln p(t|\theta) = -\frac{1}{2} Tr\left(C_N^{-1}\frac{\partial C_N}{\partial\theta_i}\right) + \frac{1}{2}t^TC_N^{-1}\frac{\partial C_N}{\partial\theta_i}C_N^{-1}t \tag{6.70}$$

由于$\ln p(t|\theta)$通常是一个非凸函数，因此它由多个极大值点。

引入一个$\theta$上的先验分布然后使用基于梯度的方法最大化对数后验是很容易的。在一个纯粹的贝叶斯方法中，我们需要计算$\theta$的边缘概率可以通过乘以先验概率$p(\theta)$和似然函数$p(t|\theta)$来加权。然而，通常精确的积分或求和是不可行的。我们必须进行近似。

高斯过程回归模型给出的预测分布的均值和方差是输入向量$x$的函数。然而，我们已经假定由参数$\beta$控制的附加噪声对预测方差的贡献是常数。对于一些被称为异方差（heteroscedastic）的问题，噪声方差本身也依赖于$x$。为了对这种问题进行建模，我们可以对高斯过程框架进行推广，引入第二个高斯过程来表示$\beta$对于输入$x$的依赖性（Goldberg et al., 1998）。由于$\beta$是一个方差，因此是非负的，所以我们使用高斯过程来对$\ln\beta(x)$进行建模。