我们已经看到，标准的决策树被限制为对输入空间的硬的、与坐标轴对齐的划分。这些限制可以通过引入软的、概率形式的划分的方式得到缓解，这些划分是所有输入变量的函数，而不仅仅是某个输入变量的函数。这样做的代价是它的直观意义的消失。如果我们也给叶结点的模型赋予一个概率的形式，那么我们就得到了一个纯粹的概率形式的基于树的模型，被称为专家层次混合（hierarchical mixture of experts），将在14.5.3节讨论。

另一种得到专家层次混合模型的方法是从标准的非条件密度模型（例如高斯分布）的概率混合开始，将分量概率密度替换为条件概率分布。这里，我们考虑线性回归模型的混合（14.5.1 节）以及logistic回归模型的混合（14.5.2节）。在最简单的情况下，混合系数与输入变量无关。如果我们进行进一步的泛化，使得混合系数同样依赖于输入，那么我们就得到了专家混合（mixture of experts）模型。最后，如果我们使得混合模型的每个分量本身都是一个专家混合模型，那么我们就得到了专家层次混合模型。