作为变分推断的第二个例子,我们回到3.3节的贝叶斯线性回归模型中。在模型证据框架中,我们通过使用最大化似然函数的方法进行点估计,从而近似了在上的积分。一个纯粹的贝叶斯方法会对所有的超参数和参数进行积分。虽然精确的积分是无法计算的,但是我们可以使用变分方法来找到一个可以处理的近似。为了简化讨论,我们会假设噪声精度参数已知,并且固定于它的真实值,虽然这个框架很容易扩展来包含上的概率分布。对于线性回归模型来说,可以证明变分方法等价于模型证据的框架。尽管这样,这个例子给我们提供了使用变分方法的一个很好的练习,也是我们在10.6节讨论贝叶斯逻辑回归的变分方法的基础。

回忆一下,的似然函数和上的先验概率分布为

其中。我们现在引入参数上的先验概率分布。根据我们在2.3.6节的讨论,我们知道高斯分布的精度的共轭先验为Gamma分布,因此我们选择

其中由式(B.26)定义。因此所有变量上的联合概率分布为

这可以表示为图10.8中所示的有向图模型。

图 10-8
图 10.8 表示贝叶斯线性回归模型的联合概率分布(10.90)的图模型。

results matching ""

    No results matching ""