在推导高斯混合模型的这些变分更新方程时,我们假定了对变分后验概率分布的一种特 定的分解方式,由式(10.42)给定。然而,不同因子的最优解给出了额外的分解。特别的,的最优解由每个混合分量上的独立分布的乘积给定,而式(10.48)给定的潜在变量上的变分后验概率分布可以分解为每个观测的独立概率分布(注意它不能关于进行分解,因为对于每个值,需要满足在上的和等于1的限制)。这些额外的分解的产生原因是假定的分解方式与真实分布的条件独立性质相互作用的结果,正如图10.5所示的有向图所描述的那样。

我们会把这些额外的分解方式成为诱导分解(induced factorizations),因为它们产生于在变分后验分布中假定的分解方式与真实联合概率分布的条件独立性质之间的相互作用。在变分方法的数值实现中,考虑这些附加的分解方式很重要。例如,对于一组变量上的高斯分布来说,如果分布的最优形式的精度矩阵总是对角矩阵(对应于关于由那个高斯分布独立描述的变量的分解方式),那么在计算过程中始终保留一个完整的精度矩阵是一种很低效的做法。

使用一种基于d-划分的简单的图检测方法,这种诱导的分解方式可以很容易地被检测到。我们将潜在变量划分为三个互斥的组,然后让我们假定我们可以在变量与剩余变量之间进行分解,即

使用一般的结果(10.9)以及概率的乘积规则,我们看到的最优解为

我们现在考察这个解能否在之间进行分解,即是否有。当且仅当时,这种情况成立,也就是说,应该满足条件独立关系:

我们也可以使用d-划分准则来检测对于任意的的选择,这个关系是否确实成立。

为了说明这一点,再次考虑由图10.5中的有向图表示的高斯分布的贝叶斯混合,其中我们假定变分分解由式(10.42)给出。我们立刻就可以看到,参数上的变分后验概率分布一定可以在和剩余的参数之间进行分解,因为所有将相连接的路径一定通过某个结点,所有这些结点都在我们的条件独立性检测的条件集合中,并且所有的结点关于这种路径都是头到尾的。

results matching ""

    No results matching ""