现在,考虑使用最大似然来估计式(2.194)的通用指数族分布的参数向量的问题。对式(2.195)两边关于取梯度,得到:

重排列,并再次使用式(2.195)得到:

其中使用了式(2.194)。于是得到:

注意,的协方差可以由的二阶导数来表达。对于高阶动差的情形类似。因此,如果能标准化来自指数族的分布,那么就可以通过简单的微分来找到它的动差。

现在考虑一组独立同分布的数据,它的似然函数为:

关于的梯度为0,得到最大似然估计满足

原则上可以通过解这个方程来得到。最大似然估计的解只通过对数据产生依赖,所以它被称为分布(2.194)的充分统计量(sufficient statistic)。我们不需要存储整个数据集本身,只需要存储充分统计量的值即可。举个例子,对于伯努利分布,函数就是,因此我们只需要存储数据点的和。而对于高斯分布,因此我们应该同时存储的和。

如果考虑极限,那么式(2.228)的右手边就变成,并与式(2.226)比较得到在这个极限下等于真实的的值。

实际上,这种充分性对于贝叶斯推断也成立,但是我们要把关于这一点的讨论推迟到第8章。那时,我们已经具备图模型的知识,因此能够更深刻地理解这些重要的概念。

results matching ""

    No results matching ""