回忆一下，在4.4节中，拉普拉斯近似是先寻找后验概率分布的众数，然后拟合一个以众数为中心的高斯来得到的。这需要计算对数后验的二阶导数，这等价于寻找Hessian矩阵。

因为我们在寻找后验分布的高斯表达方式，所以选择高斯先验是很自然的，把它写成一般形式

$$p(w) = \mathcal{N}(w|m_0,S_0) \tag{4.140}$$

其中$m_0, S_0$是固定的超参数。$w$的后验分布由

$$p(w|t) \propto p(w)p(t|w) \tag{4.141}$$

其中$t = (t_1,...,t_N)^T$。对两边取对数，并代入先验分布（4.140），对于使用式（4.89）的似然函数得到

$$\begin{eqnarray} \ln p(w|t) = &-&\frac{1}{2}(w-m_0)^TS_0^{-1}(w-m_0) \\ &+& \sum\limits_{n=1}^N \{t_n\ln y_n + (1-t_n)\ln (1-y_n)\} + const \tag{4.142} \end{eqnarray}$$

其中$y_n = \sigma(w^T\phi_n)$。为了得到后验分布的高斯近似，首先最大化后验分布来得到定义了高斯均值的MAP（最大化后验）解$w_{MAP}$。协方差由似然函数的对数的负的二阶导数的矩阵的逆给出：

$$S_n = -\nabla\nabla\ln p(w|t) = S_0^{-1} + \sum\limits_{n=1}^Ny_n(1-y_n)\phi_n\phi_n^T \tag{4.143}$$

那么后验分布的高斯近似具有

$$q(w) = \mathcal{N}(w|w_{MAP},S_N) \tag{4.144}$$

的形式。

获得后验分布的高斯分布后，剩下的任务就是关于这个概率分布求积分来进行预测。