目前为止，在本章中学习的概率分布（除了高斯混合分布）都是一种叫做指数族这一大类分布中的特殊例子（Duda and Hart, 1973; Bernardo and Smith, 1994）。指数族分布的成员拥有很多共同的重要性质，且在某种程度的通用性下讨论这些性质很有启发性。

给定参数$\eta$的$x$上的指数族分布是具有

$$p(x|\eta) = h(x)g(\eta)exp\{\eta^Tu(x)\} \tag{2.194}$$

形式的概率分布的集合。其中$x$可以是标量也可以是向量，可以是连续的也可以是离散的。$\eta$是分布的自然参数（natural parameters），$u(x)$是关于$x$的某个函数。函数$g(\eta)$可以解释为是为了保证分布标准化的系数，且满足：

$$g(\eta)\int h(x)exp\{\eta^Tu(x)\}dx = 1 \tag{2.195}$$

其中，对于离散变量积分就变成求和。

首先，给出一些本章之前讨论的一些分布，然后证明这些分布确实是指数族分布。首先考虑伯努利分布：

$$p(x|\mu) = Bern(x|\mu) = \mu^x(1-\mu)^{1-x} \tag{2.196}$$

把右侧表示成对数的指数形式，得到：

$$\begin{eqnarray} p(x|\mu) &=& exp\{x\ln \mu + (1-x)\ln (1-\mu)\} \\ &=& (1-\mu)exp\left\{\ln\left(\frac{\mu}{1-\mu}\right)x\right\} \tag{2.197} \end{eqnarray}$$

与公式（2.194）对照，得到：

$$\eta = \ln\left(\frac{\mu}{1-\mu}\right) \tag{2.198}$$

然后就可以解出$\mu = \delta (\eta)$，其中

$$\delta (\eta) = \frac{1}{1+exp(-\eta)} \tag{2.199}$$

这就是logistic sigmoid函数。因此可以把伯努利分布写成式（2.194）的标准形式：

$$p(x|\eta) = \delta(-\eta)exp(\eta x) \tag{2.200}$$

其中使用了可以从式（2.199）中很容易证明的$1 - \delta(\eta) = \delta(-\eta)$，对比公式（2.194）得到：

$$\begin{eqnarray} u(x) &=& x \tag{2.201} \\ h(x) &=& 1 \tag{2.202} \\ g(\eta) &=& \delta(-\eta) \tag{2.203} \end{eqnarray}$$

接下来，考虑单观测值$x$的多项式分布：

$$p(x|\mu) = \prod\limits_{k=1}^M\mu_k^{x_k} = exp\left\{\sum\limits_{k=1}^M x_k \ln\mu_k \right\} \tag{2.204}$$

其中$x = (x_1,...,x_N)^T$。同样的，可以写成式（2.194）的标准形式：

$$p(x|\eta) = exp(\eta^Tx) \tag{2.205}$$

其中$\eta_k = \ln \mu_k$，且定义了$\eta = (\eta_1,...,\eta_M)^T$。同样，对比式（2.194）得到：

$$\begin{eqnarray} u(x) = x \tag{2.206} \\ h(x) = 1 \tag{2.207} \\ g(\eta) = 1 \tag{2.208} \end{eqnarray}$$

注意，因为参数$\mu_k$要满足

$$\sum\limits_{k=1}^M\mu_k = 1 \tag{2.209}$$

，所以给定任意$M − 1$个参数$\mu_k$剩下的参数就固定了，因此参数$\eta_k$不是相互独立的。在某些情况下，去掉这个限制，只用$M − 1$个参数来表示分布会比较方便。可以使用式（2.209）中的关系，用$\{\mu_k\}，k=1,...,M-1$来表示最后的$\mu_M$，这样就只剩下$M - 1$个参数了。注意，剩余的参数仍然要满足：

$$0 \leq \mu_k \leq 1, \sum\limits_{k=1}^{M-1}\mu_k \leq 1 \tag{2.210}$$

使用式（2.209）的约束，这种表达方式下多项式分布变成：

$$\begin{eqnarray} &exp&\left\{\sum\limits_{k=1}^Mx_k\ln \mu_k \right\} \\ &=& exp\left\{\sum\limits_{k=1}^{M-1}x_k\ln\mu_k + \left(1-\sum\limits_{k=1}^{M-1}x_k\right)\ln\left(1-\sum\limits_{k=1}^{M-1}\mu_k\right)\right\} \\ &=& exp\left\{\sum\limits_{k=1}^{M-1}x_k\ln\left(\frac{\mu_k}{1-\sum_{j=1}^{M-1}\mu_j}\right) + \ln\left(1-\sum\limits_{k=1}^{M-1}\mu_k\right)\right\} \tag{2.211} \end{eqnarray}$$

现在，确定

$$\ln\left(\frac{\mu_k}{1-\sum_j\mu_j}\right)=\eta_k \tag{2.212}$$

首先两边对$k$求和，然后重新整理，回带，就可以解出$\mu_k$：

$$\mu_k = \frac{exp(\eta_k)}{1+\sum_jexp(\eta_j)} \tag{2.213}$$

这被称为softmax函数，或标准化指数（normalized exponential）。在这种表达方式下，多项式分布具有：

$$p(x|\eta) = \left(1 + \sum\limits_{k=1}^{M-1}exp(\eta_k)\right)^{-1} exp(\eta^Tx) \tag{2.214}$$

这是具有参数向量$\eta = (\eta_1,...,\eta_{M-1})^T$的指数族的标准形式。其中：

$$\begin{eqnarray} u(x) &=& x \tag{2.215} \\ h(x) &=& 1 \tag{2.216} \\ g(\eta) &=& \left(1+\sum\limits_{k=1}^{M-1}exp(\eta_k)\right)^{-1} \tag{2.217} \end{eqnarray}$$

最后，考察高斯分布。对于一元高斯有：

$$\begin{eqnarray} p(x|\mu,\delta^2) &=& \frac{1}{(2\pi\delta^2)^{1/2}}exp\left\{-\frac{1}{2\delta^2}(x-\mu)^2\right\} \tag{2.218} \\ &=& \frac{1}{(2\pi\delta^2)^{1/2}}exp\left\{-\frac{1}{2\delta^2}x^2 + \frac{\mu}{\delta^2}x - \frac{1}{2\delta^2}\mu^2 \right\} \tag{2.219} \end{eqnarray}$$

经过一些简单的重排列之后，可以转化为式（2.194）给出的标准指数族分布的形式，其中：

$$\begin{eqnarray} \eta &=& \left( \begin{array}{c} \mu/\delta^2 \\ -1/2\delta^2 \end{array} \right) \tag{2.220} \\ u(x) &=& \left( \begin{array}{c} x \\ x^2 \end{array} \right) \tag{2.221} \\ h(x) &=& (2\pi)^{-1/2} \tag{2.222} \\ g(\eta) &=& (-2\eta_2)^{1/2}exp\left(\frac{\eta_1^2}{4\eta_2}\right) \tag{2.223} \end{eqnarray}$$

一些证明

2.213

由式2.212可得

$$\mu_k=\left(1-\sum_j\mu_j\right)exp(\eta_k)$$

令$t = 1-\sum_j\mu_j$那么我们就有$\mu_k = texp(\eta_k)$
于是 $$\begin{eqnarray} t &=& 1-\sum_j\mu_j \\ &=& 1 - \sum_jt exp(\eta_j) \\ &=& 1 - t\sum_jexp(\eta_j) \end{eqnarray}$$

整理可得

$t = \frac{1}{1+\sum_jexp(\eta_j)}$

带回前式我们就得到

$$\mu_k = \frac{exp(\eta_j)}{1+\sum_jexp(\eta_j)}$$