在2.3.1和2.3.2中,我们讨论了把高斯分布的向量切分成,然后找到条件分布和边缘分布的表达式。得到条件分布的均值是关于的线性函数。这里,假设给定高斯边缘分布和均值是关于的线性函数且方差与无关的高斯条件分布。这是线性高斯模型(linear Gaussian model)的一个例子(Roweis and Ghahramani, 1999),将在8.1.4节学习它更一般的情况。我们希望找到边缘分布和条件分布。这个问题在接下来的章节中会经常出现,在这里我们可以方便的证明更一般的结果。
把边缘和条件分布记为:
其中是控制均值的参数,是精度矩阵。设分别是维的,那么矩阵是矩阵。
首先,我们求出的联合分布的表达式。为了达到这个目的,我们定义:
然后考虑联合分布的对数:
其中表示与无关的项。和之前一样,我们得到这是关于的分量的二次函数,因此是高斯分布。为了得到这个分布的精度,考虑式(2.102)中的二次项,它可以写成:
得到的高斯分布的精度矩阵(协方差矩阵的逆)为:
通过矩阵求逆公式(2.76)对精度矩阵求逆可以得到协方差矩阵:
同样的,我们可以通过确定式(2.102)中的线性项来得到上的高斯分布的均值:
使用之前在多元高斯分布中,通过配出平方项得到的的二次项的结果(2.71),可以得到的均值:
使用式(2.105)得到:
接下来通过对积分得到边缘分布的表达式。回忆一下,高斯随机向量的分量的边缘分布可以相当简单的使用分区协方差矩阵表示出来。具体来说,它的均值和协方差分别有式(2.92)(2.93)给出。使用式(2.105)和(2.108)可以得到边缘分布的均值和方差:
一种特殊情况是的时候,这时退化成两个高斯分布的卷积。其中,卷积的均值是两个高斯分布均值的和,卷积的方差的是它们方差的和。
最后,寻找条件分布的表达式。回忆一下,条件分布用分区进度矩阵来表示最简单,如式(2.73)(2.75)。把这些结果代入式(2.105)(2.108)得到条件分布的方差和均值为:
对这个条件分布的估计可以看成贝叶斯定理的一个例子。可以把分布看成上的先验分布。当观测到后,对应的上的后验分布由条件分布来表示。得到边缘分布和条件分布,也可以用来表示联合分布。结果总结如下:
边缘和条件高斯
对于的边缘高斯分布和关于的条件高斯分布:
那么的边缘分布和关于的条件高斯分布为:
其中