在详细讨论马尔科夫链蒙特卡罗方法之前，仔细研究马尔科夫链的一些一般的性质是很有用的。特别的，我们考察在什么情况下马尔科夫链会收敛到所求的概率分布上。一阶马尔科夫链被定义为一系列随机变量$z^{(1)},...,z^{(M)}$，使得下面的条件独立性质对于$m \in \{1,...,M−1\}$成立

$$p(z^{(m+1)}|z^{(1)},...,z^{(m)}) = p(z^{(m+1)}|z^{(m)}) \tag{11.37}$$

这当然可以表示成链形的有向图，如图8.38所示。之后，我们可以按照下面的方式具体化一个马尔科夫链：给定初始变量的概率分布$p(z^{(0)})$，以及后续变量的条件概率，用转移概率（transition probability）$T_m(z^{(m)}, z^{(m+1)}) \equiv p(z^{(m+1)} | z^{(m)})$的形式表示。如果对于所有的$m$，转移概率都相同，那么这个马尔科夫链被称为同质的（homogeneous）。

对于一个特定的变量，边缘概率可以根据前一个变量的边缘概率用链式乘积的方式表示出来，形式为

$$p(z^{(m+1)}) = \sum\limits_{z^{(m)}} p(z^{(m+1)}|z^{(m)})p(z^{(m)}) \tag{11.38}$$

那么概率分布$p^*(z)$是不变的。注意，一个给定的马尔科夫链可能有多个不变的概率分布。例如，如果转移概率由恒等变换给出，那么任意的概率分布都是不变的。

确保所求的概率分布$p(z)$不变的一个充分（非必要）条件是令转移概率满足细节平衡（detailed balance）性质，定义为

$$p^*(z)T(z,z') = p^*(z')T(z',z) \tag{11.40}$$

对特定的概率分布$p^*(z)$成立。很容易看到，满足关于特定概率分布的细节平衡性质的转移概率会使得那个概率分布具有不变性，因为

$$\sum\limits_{z'}p^*(z')T(z',z) = \sum\limits_{z'}p^*(z)T(z,z') = p^*(z)\sum\limits_{z'}p(z'|z) = p^*(z) \tag{11.41}$$

满足细节平衡性质的马尔科夫链被称为可翻转的（reversible）。

我们的目标是使用马尔科夫链从一个给定的概率分布中采样。如果我们构造一个马尔科夫链使得所求的概率分布是不变的，那么我们就可以达到这个目标。然而，我们还要要求对于$m \to \infty$，概率分布$p(z^{(m)})$收敛到所求的不变的概率分布$p^*(z)$，与初始概率分布$p(z^{(0)})$无关。这种性质被称为各态历经性（ergodicity），这个不变的概率分布被称为均衡（equilibrium）分布。很明显，一个具有各态历经性的马尔科夫链只能有唯一的一个均衡分布。可以证明，同质的马尔科夫链具有各态历经性，只需对不变的概率分布和转移概率做出较弱的限制即可（Neal, 1993）。

在实际中，我们经常可以从一组“基”转移$B_1,...,B_K$中构建转移概率，方法为：将各个“基”转移表示为混合概率分布，形式为

$$T(z',z) = \sum\limits_{k=1}^K\alpha_kB_k(z',z) \tag{11.42}$$

混合系数$\alpha_1,...,\alpha_K$满足$\alpha_k \geq 0$且$\sum_k\alpha_k = 1$。此外，基转移可以通过连续的应用组合到一起，即

$$T(z',z) = \sum\limits_{z_1}\dots\sum\limits_{z_{K-1}}B_1(z',z_1)\dots B_{K-1}(z_{K-2},z_{K-1})B_K(z_{K-1},z) \tag{11.43}$$

如果一个概率分布关于每个基转移都是不变的，那么显然它关于式（11.42）和（11.43）也是不变的。对于式（11.42）的混合分布，如果每个基转移满足细节平衡，那么混合转移$T$也满足细节平衡。这对于使用式（11.43）构造的转移概率不成立，虽然通过将基转移的顺序对称化，即采用$B_1, B_2,...,B_K, B_K,...,B_2, B_1$的形式，细节平衡的性质可以被恢复。使用组合转移概率的一个常见的例子是每个基转移只改变变量的一个子集的情形。