在一些概率推断应用中，我们可能会有能用先验分布方便的表达出来的先验知识。例如，如果先验令变量的一些值的概率为0，那么不论后续观测到什么数据，后验分布都会令这些值的概率为0。但是，在许多情形下，我们几乎不知道分布应该具有的形式。这时，我们可能需找一种被称为无信息先验（noninformative prior）的先验分布。这种先验分布的目的是尽可能的后验分布产生小的影响（Jeffries, 1946; Box and Tao, 1973; Bernardo and Smith, 1994）。这有时也被称为“让数据自己说话”。

如果一个有参数$\lambda$控制的分布$p(x|\lambda)$。我们可能忍不住提出$p(\lambda) = const$是合适的先验。如果$\lambda$是有$K$个状态的离散变量，这相当于简单的设置每个状态的概率为$1 / K$。然而，在连续参数的情况下，这种方法有两个潜在的困难。第一个是：如果$\lambda$的域是无界的，这时关于$\lambda$的积分是发散的，所以先验分布不能被正确的标准化。这样的先验被称作非正常的（improper）。实际应用中，如果对应的后验分布是正常的（proper），即它可以正确地标准化，那么可以使用这个非正常的先验。例如，如果假设高斯分布的均值的先验为均匀分布，一旦我们观测到至少一个数据点，均值的后验就会是正常的。

第二个困难来自于变量的非线性改变下的概率密度变换行为，由式（1.27）给出。如果函数$h(\lambda)$是常数，且进行变量替换$\lambda = \eta^2$，那么$\hat{h}(\eta) = h(\eta^2)$也会常数。但是，如果选择密度$p_\lambda(\lambda)$等于常数，那么根据式（1.27），$\eta$的概率密度为：

$$p_\eta(\eta) = p_\lambda(\lambda)\Bigg\vert\frac{d\lambda}{d\eta}\Bigg\vert = p_\lambda(\eta^2)2\eta \propto \eta \tag{2.231}$$

这时$\eta$的概率密度就不再是常数了。由于似然函数$p(x|\lambda)$是关于$\lambda$的简单函数，所以这个问题不会出现在最大似然中，所以可以自由的使用任意方便的参数化方法。如果选择了常数作为先验分布，那么必须注意对参数要使用一个合适的表达法。

这里考虑两个无信息先验的简单例子（Berger, 1985）。首先，概率密度形式为：

$$p(x|\mu) = f(x-\mu) \tag{2.232}$$

其中$\mu$被称为位置参数（location parameter）。因为如果我们把$x$平移一个常数，得到$\hat{x} = x + c$，那么

$$p(\hat{x}|\hat{\mu}) = f(\hat{x} - \hat{\mu}) \tag{2.233}$$

其中$\hat{\mu} = \mu + c$，所以这类密度具有平移不变性。所以新变量的概率密度的形式与原变量相同，因此密度与原点的选择无关。我们想要选择一个反映这个平移不变性的先验分布，所以我们选择一个赋予区间$A \leq \mu \leq B$与区间$A - c \leq \mu \leq B - c$相同的概率质量的先验。这隐含：

$$\int_A^Bp(\mu)d\mu = \int_{A-c}^{B-c}p(\mu)d\mu = \int_A^Bp(\mu-c)d\mu \tag{2.234}$$

而且这对于任意的$A,B$选择都成立，所以得到：

$$p(\mu - c) = p(\mu) \tag{2.235}$$

这隐含了$p(\mu)$是一个常数。位置参数的一个例子是高斯分布的均值$\mu$。正如我们已经看到的，这种情况下的$\mu$的共轭先验分布是一个高斯$p(\mu|\mu_0,\delta_0^2) = \mathcal{N}(\mu|\mu_0,\delta_0^2)$，然后取极限$\delta_0^2 \to \infty$得到一个无信息先验。事实上，从式（2.141）和（2.142）可以知道，在这种极限情况下，得到的$\mu$的后验分布中，先验的贡献消失了。

第二个例子，考虑密度形式：

$$p(x|\delta) = \frac{1}{\delta}f\left(\frac{x}{\delta}\right) \tag{2.236}$$

其中$\delta > 0$。注意，如果$f(x)$被正确的标准化，那么这是一个标准化的密度。参数$\delta$是伸缩参数（scale parameter）。如果我们把$x$缩放一个常数即$\hat{x} = cx$，有

$$p(\hat{x}|\hat{\delta}) = \frac{1}{\hat{\delta}}f\left(\frac{\hat{x}}{\hat{\delta}}\right) \tag{2.237}$$

其中$\hat{\delta} = c\delta$，这就是概率密度的伸缩不变性（scale invariance）。这个变换对应单位的变化，例如，长度$x$的单位从米变成了千米，我们想要选择一个反映这个伸缩不变性的先验分布。如果我们考虑区间$A \leq \delta \leq B$和伸缩伸缩区间$A/c \leq \delta \leq B/c$，对两个区间赋予相同的概率质量。得到：

$$\int_A^Bp(\delta)d\delta = \int_{A/c}^{B/c}p(\delta)d\delta = \int_A^Bp\left(\frac{1}{c}\delta\right)\frac{1}{c}d\delta \tag{2.238}$$

因为这对于任意的$A,B$选择都成立，所以得到：

$$p(\delta) = p\left(\frac{1}{c}\delta\right)\frac{1}{c} \tag{2.239}$$

得到$p(\delta) \propto 1/\delta$。由于分布在$0 \leq \delta \leq \infty$的积分是发散的，所以这是一个非正常先验。有时把缩放参数的先验分布用参数的对数的概率密度表达更方便。使用公式（1.27）的概率密度变换规则，我们看到$p(\ln\delta) = const$。因此，对于这个先验分布，在区间$1 \leq \delta \leq 10$和区$10 \leq \delta \leq 100$和以及区$100 \leq \delta \leq 1000$和上具有相同的概率质量。

缩放参数的一个例子是高斯分布的标准差$\delta$，在我们确定了位置参数$\mu$之后。由于

$$\mathcal{N}(x|\mu,\delta^2) \propto \delta^{-1} exp\{-(\tilde{x}/\delta)^2\} \tag{2.240}$$

其中$\tilde{x} = x - \mu$。就如之前讨论的，使用精度$\lambda = 1/\delta^2$会比$\delta$方便的多。使用密度的变换规则，得到分布$p(\delta) \propto 1/\delta$对应$\lambda$上的分布形式$p(\lambda) \propto 1/\lambda$。我们已经知道$\lambda$的共轭先验是式（2.146）给出的gamma分布$Gam(\lambda|a_0,b_0)$。无信息先验在$a_0 = b_0 = 0$的特殊情况下得到。同样的，如果检查式（2.150）和式（2.151）给出的$\lambda$的后验分布的结果，得到对于 $$a_0 = b_0 = 0$$ ，后验分布只与数据相关，而与先验分布无关。