多元高斯分布的一个重要的性质是:如果两个变量集合是联合高斯分布,以其中一个集合为条件的分布也是高斯分布。同样的,任何一个变量的边缘分布也是高斯分布。

首先,考虑条件概率的情形。假设是服从高斯分布维向量,把划分为两个不相交的子集。不失一般性的,令的前个分量,令为剩余的个分量,得到:

对应的均值向量的划分:

协方差矩阵为:

注意,协方差矩阵是对称的即,可得也是对称的,且

在很多情况下,使用协方差的逆矩阵会比较方便,记:

这被称为精度矩阵(precision matrix)。事实上,高斯分布的一些形式使用协方差来表达会比较方便,而另外的一些使用精度矩阵会比较方便。以式(2.65)划分的同样的方法划分精度矩阵:

因为对称矩阵的逆同样是对称的,所以也是对称的,且。需要强调的一点是:事实上,不单单是对求逆这么简单。稍后,就会讨论逆矩阵的划分和划分的逆矩阵间的关系。

首先,找到条件分布的条件分布。根据概率的乘法规则,由联合分布 通过固定为观测到的值,然后标准化所得到的表达式就可以得到上的有效概率。考虑公式(2.44)给出的高斯分布的指数上的二项式,在计算的最后阶段再来考虑标准化系数,这样比显示地进行标准化更有效。使用公式(2.65),(2.66)和(2.69)的划分就能得到:

把它看成的函数,这又是一个二次型,可以推出对应的条件分布是高斯分布。由于,这个分布完全是由均值和方差定义的,我们的目标是通过式(2.70)来确定的均值和方差的表达式。

给出一个定义高斯分布的指数项的二次型,然后确定对应的均值和方差的方法被称为“配平方”,这是一种与高斯分布相关的常见的操作。一个通用的的高斯分布的指数项可以写成:

其中const为与无关的项,且用到的的对称性。因此,如果我们把通用的二次型表示成公式(2.71)右侧的形式,那么我们可以立即令中的二阶项的系数矩阵等于协方差矩阵的逆,令中的线性项的系数等于,这样就得到了

现在让我们把这个方法应用到条件高斯分布中。其中条件高斯分布的指数项的二次型由公式(2.70)给出。把这个分布的均值和协方差分别记作。考虑公式(2.70)对的函数依赖关系,其中被当成常数。如果我们选出所有的二阶项,就有:

从这个公式中可以得到,的协方差(精度矩阵的逆):

现在,考虑式(2.70)中的所有线性项:

其中我们使用了。根据通用公式(2.71)这个表达始中的系数必须等于,推出:

过程中我们使用了式(2.73)

式(2.73),(2.75)的结果是由原始的联合分布的分区精度矩阵来表示的。也可以用对应的分区协方差矩阵来表达这些结果。为了完成这一点,使用下面的关于分区矩阵的逆的等式:

其中

是式(2.76)左手边矩阵关于矩阵的舒尔补(Schur complement)。使用定义

使用公式(2.76)可得:

从这些公式中,得到条件概率的均值和方差的表达式为:

对比式(2.73)和(2.82),得到条件概率分布如果使用分区精度矩阵而不是分区协方差矩阵表示,那么它的形式会更简单。注意,条件概率分布的由式(2.81)给出的均值是的线性函数,由公式(2.82)给出的协方差与无关。这是线性高斯(linear-Gaussian)模型的一个例子。

results matching ""

    No results matching ""