第九章 区间估计
该笔记基于书本《统计推断》，笔记省略部分均可在该书上找到对应的详细解释。
本章将从第八章的假设检验中的LRT入手，再到给出置信区间的自然求解公式。这一个过程符合直觉，且与6，7，8，9章的知识紧密结合。
9.1 前言
在第七章中我们学习了如何求解参数 \(\theta\) 的点估计量，这非常有用。但是这具有一些缺点，我们可以想像一下，点估计量 \(T(\boldsymbol{x})\) 是对参数 \(\theta\) 的估计，且估计量本身是一个随机变量(通常是连续的)，所以对于点估计量来说\(P(T(\boldsymbol{x})=\theta)=0\)，我们没法保证其估计的有效性，因此我们需要更精确的估计。但是怎么做呢？既然一个点不行，那就放松这个条件，用区间来包括这一个参数 \(\theta\) 。这也就是为什么这一章的名称叫做区间估计的原因。我们假设区间为 \(C(\boldsymbol{x})\) ， 长度一定不为0，此时我们可以看到 \(P(\theta \in C(\boldsymbol{x}))>0\) 恒成立。我们get了一个不为 0 的概率 ！即这个区间 \(C(\boldsymbol{x})\) 包括了这个参数 \(\theta\) 的概率(这里的主语一定是区间 \(C(\boldsymbol{x})\)，很重要)，这为我们量化这个区间估计的精确性也提供了思路。
和前两章一样，这章也分为两个部分，第一部分是如何求一个区间估计，第二部分是区间估计量的评价。
定义 9.1.1： 一个实值参数 \(\theta\) 的区间估计是样本的任意一对函数 \(L\left(x_1, \cdots\right.\), \(\left.x_n\right)\) 和 \(U\left(x_1, \cdots, x_n\right)\)，对于所有的 \(\boldsymbol{x} \in \mathcal{X}\) 满足 \(L(\boldsymbol{x}) \leqslant U(\boldsymbol{x})\)。如果观测到样本 \(\boldsymbol{X}=\boldsymbol{x}\), 就做出推断 \(L(\boldsymbol{x}) \leqslant \theta \leqslant U(\boldsymbol{x})\)。随机区间 \([L(\boldsymbol{X}), U(\boldsymbol{X})]\) 叫做区间估计量 (interval estimator)。
定义 9.1.4： 对于一个对参数 \(\theta\) 的区间估计量 \([L(\boldsymbol{X}), U(\boldsymbol{X})],[L(\boldsymbol{X})\), \(U(\boldsymbol{X})]\) 的覆盖概率 (coverage probability) 是指随机区间 \([L(\boldsymbol{X}), U(\boldsymbol{X})]\) 覆盖真实参数 \(\theta\) 的概率。在符号上它记作 \(P_0(\theta \in[L(\boldsymbol{X}), U(\boldsymbol{X})])\) 或 \(P(\theta \in[L(\boldsymbol{X})\), \(U(\boldsymbol{X})] \mid \theta)\)。
定义 9.1.5： 对于一个参数 \(\theta\) 的区间估计量 \([L(\boldsymbol{X}), U(\boldsymbol{X})],[L(\boldsymbol{X}), U(\boldsymbol{X})]\) 的置信系数 (confidence coefficient) 是指覆盖概率的下确界 \(\inf _\theta P_\theta(\theta \in[L(\boldsymbol{X})\), \(U(\boldsymbol{X})]\)。
从这些定义里我们认识到很多事情. 首先, 一定牢记这个区间是随机的量, 而 参数不是, 因此, 当我们书写像 \(P_\theta(\theta \in[L(\boldsymbol{X}), U(\boldsymbol{X})])\) 这样的概率陈述时, 是针对 \(\boldsymbol{X}\) 而非针对 \(\theta\) 的。 也就是说 \(P_\theta(\theta \in[L(\boldsymbol{X}), U(\boldsymbol{X})])\) 等同于 \(P_\theta(L(\boldsymbol{X}) \leqslant\) \(\theta, U(\boldsymbol{X}) \geqslant \theta)\)，随机变量为 \(\boldsymbol{X}\) 。
区间估计量, 加之信心的一个量度 (通常为置信系数), 有时被称为一个置信区间。这个术语一般和区间估计量交替使用。一个置信系数为 \(1-a\) 的置信区间被称为 \(1-a\) 置信区间。
9.2 区间估计量的求解
以下将从反转一个LRT开始，介绍几种求解区间估计量的方法。
9.2.1 反转一个LRT统计量
举个例子，设\(X_1, \cdots, X_n\) 是 iid \(\mathrm{n}\left(\mu, \sigma^2\right)\) 的并考 虑检验 \(H_0: \mu=\mu_0\) 对 \(H_1: \mu \neq \mu_0\). 对于固定的水平 \(\alpha\), 一个合理的检验（事实上是 最大功效无偏检验) 具有拒绝区域 \(\left\{x:\left|\bar{x}-\mu_0\right|>z_{\alpha / 2} \sigma / \sqrt{n}\right\}\). 注意到对于符合 \(\left|\bar{x}-\mu_0\right| \leqslant z_{\alpha / 2} \sigma / \sqrt{n}\) 或者等价地满足
的样本点, \(H_0\) 则被接受。
因为这个检验具有真实水平 \(\alpha\), 这意味着 \(P\left(H_0\right.\) 被拒绝 \(\left.\mid \mu=\mu_0\right)=\alpha\), 或者换 言之, \(P\left(H_0\right.\) 被接受 \(\left.\mid \mu=\mu_0\right)=1-\alpha\). 把它和上面接受区域描述结合起来，得到
但是这里对概率的陈述对于每一个 \(\mu\) 都真. 因此陈述
为真. 通过反转这个水平为 \(\alpha\) 的检验的接受区域而获得的区间 \(\left[\bar{x}-z_{\alpha / 2} \sigma / \sqrt{n}, \bar{x}+\right.\) \(\left.z_{\alpha / 2} \sigma / \sqrt{n}\right]\) 就是一个 \(1-\alpha\) 置信区间。
可以看到样本空间中使得 \(H_0: \mu=\mu_0\) 被接受的集合由下式给出
而置信区间是由参数空间中似乎可信的参数值构成的集合, 由下式给出
这两个集合通过等价关系
建立起联系，下面的图9.2.1很好的给出了两者的对应关系。
直到此为止，置信区间和假设检验在原理和本质上依旧是相同的，两者都是从 \(\boldsymbol{x}\) 角度，给出了区间范围，但是置信区间是在接收区域上进行了不等式的形式调整，使得变量看起来变成了 \(\theta\) ，但是参数 \(\theta\) 在这是固定的值，这一定一定要切记。那么对于一族参数为 \(\theta\) 的函数族来说，就会形成一个参数与随机变量的空间区域。此时 \(\theta\) 在参数族的背景下，才摇身一变成为了一个变量(但是还不是一个随机变量，因为它没有概率分布，在之后的bayes法中我们可以看到在将参数 \(\theta\) 考虑为一个随机变量的时候，如何构造一个信任区间)。
上述的例子为特例，接下来将其推广到通解方法。
定理 9.2.2： 对每一个 \(\theta_0 \in \Theta\), 设 \(A\left(\theta_0\right)\) 是 \(H_0: \theta=\theta_0\) 的一个水平为 \(\alpha\) 的检验的接受区域。对每一个 \(x \in \mathcal{X}\), 在参数空间里定义一个集合 \(C(x)\)
则随机集合 \(C(\boldsymbol{x})\) 是一个 \(1-\alpha\) 置信集合. 反之, 设 \(C(\boldsymbol{x})\) 是一个 \(1-\alpha\) 置信集合。对任意的 \(\theta_0 \in \Theta\), 定义
则 \(A\left(\theta_0\right)\) 是 \(H_0: \theta=\theta_0\) 的一个水平为 \(\alpha\) 的检验的接受区域。
证明：第一部分, 因为 \(A\left(\theta_0\right)\) 是一个水平为 \(\alpha\) 的检验的接受区域, 所以 \(P_{\theta 0}\left(\boldsymbol{X} \notin A\left(\theta_0\right)\right) \leqslant \alpha\) 并且因此 \(P_{\theta 0}\left(\boldsymbol{X} \in A\left(\theta_0\right)\right) \geqslant 1-\alpha\)
由于 \(\theta_0\) 是任意的, 可以把 \(\theta_0\) 改写成 \(\theta\)。把上面的不等式与 (9.2.1) 合在一起, 就 证明了集合 \(C(\boldsymbol{X})\) 的覆盖概率是
证明了 \(C(\boldsymbol{X})\) 是一个 \(1-\alpha\) 置信集合。
第二部分, 对 \(H_0: \theta=\theta_0\) 的以 \(A\left(\theta_0\right)\) 作接受区域的检验, 犯第一类错误的概率是
所以是一个水平为 \(\alpha\) 的检验。
9.2.2 枢轴量
有的时候，置信区间的概率是依赖于 \(\theta\) 的，而有些则与 \(\theta\) 无关。如果一个置信区间可以由一个概率分布与 \(\theta\) 无关的统计量的范围来表示，这个统计量就被称为枢轴量 (pivotal quantity) 或枢轴 (pivot)。
定义 9.2.6： 一个随机变量 \(Q(\boldsymbol{X}, \theta)=Q\left(X, \cdots, X_n, \theta\right)\) 是一个枢轴量或枢轴，如果 \(Q(\boldsymbol{X}, \theta)\) 的分布独立于所有的参数. 就是说, 如果 \(X \sim F(\boldsymbol{x} \mid \theta)\), 则 \(Q(\boldsymbol{X}, \theta)\) 对于所有的 \(\theta\) 值具有同样的分布。
函数 \(Q(x, \theta)\) 通常会明显地同时包含参数与统计量, 但是对任何集合 \(A\), \(P_\theta(Q(\boldsymbol{X}, \theta) \in A)\) 不能依赖于 \(\theta\)。从枢轴构造置信集合的技术靠的是能求出一个枢轴与一个集合 \(A\) 使得集合 \(\{\theta: Q(\boldsymbol{X}, \theta) \in A\}\) 是 \(\theta\) 的一个集估计。
(位置-尺度枢轴) 在位置和尺度情况里有很多枢轴量。设 \(X, \cdots, X_n\) 是来自一个指定的概率密度 函数的随机样本, 并设 \(\bar{X}\) 和 \(S\) 是样本均值和样本标准差。为了证明中的量是枢轴, 只需证明它们的概率密度函数与参数是无关的。特别地, 注意到当 \(X, \cdots, X_n\) 是来自正态总体 \(\mathrm{n}\left(\mu, \sigma^2\right)\) 的随机样本时, \(t\) 统计量 \((\bar{X}-\mu) /(S / \sqrt{n})\) 是一个枢轴, 因为 \(t\) 分布不依赖于参数 \(\mu\) 和 \(\sigma^2\)。
位置-尺度枢轴
| pdf 的形式 | pdf 的类型 | 枢轴量 |
|---|---|---|
| \(f(x-\mu)\) | 位置 | \(\bar{X}-\mu\) |
| \(\frac{1}{\sigma} f\left(\frac{x}{\sigma}\right)\) | 尺度 | \(\frac{\bar{X}}{\sigma}\) |
| \(\frac{1}{\sigma} f\left(\frac{x-\mu}{\sigma}\right)\) | 位置-尺度 | \(\frac{\bar{x}-\mu}{S}\) |
使用检验反转法构造的那些区间当中, 有些实际上是基于枢轴的，有些则不是。没有通用的求枢轴的策略, 但是 可以略微聪明一些而不是完全依靠猜测。例如, 求出位置或尺度参数的枢轴就 是相对容易的事情。一般讲, 差是位置问题的枢轴而比（或乘积）是尺度问题的枢轴。那么在得到枢纽量后如何构造一个置信区间呢，接下来用伽玛分布举一个例子。
例： 设 \(X, \cdots, X_n\) 是指数分布 \(\operatorname{EXPO}(\lambda)\) 的 iid 样本, 则 \(T=\sum X_i\) 是关于 \(\lambda\) 的充分统计量并且 \(T \sim\) gamma \((n, \lambda)\)。在伽玛分布的概 率密度函数中 \(t\) 和 \(\lambda\) 以 \(t / \lambda\) 的形式一起出现，并且事实上 gamma \((n, \lambda)\) 的概率密度函数 \(\left(\Gamma(n) \lambda^n\right)^{-1} t^{n-1} \mathrm{e}^{-t / \lambda}\) 是一个尺度族。这样, 如果 \(Q(T, \lambda)=2 T / \lambda\), 则
它不依赖于 \(\lambda\). 所以, 量 \(Q(T, \lambda)=2 T / \lambda\) 是一个枢轴, 服从 gamma \((n, 2)\) 分布, 或者说 \(\chi_{2 n}^2\) 分布。
有时我们能够通过观察概率密度函数的形式看出是否存在枢轴. 在上例中, 量 \(t / \lambda\) 出现在概率密度函数里并且它实际上就是一个枢轴。在正态概率密度函数中, 有\((\bar{x}-\mu) / \sigma\) 出现并且这个量也是一个枢轴。一般, 设一个统计量 \(T\) 的概率密度函数 \(f(t \mid \theta)\) 能够表示成如下形式
其中 g 是某个函数而 \(Q\) 是某个单调（对于每个 \(t\), 关于 \(\theta\) 单调）函数。由于 \(Q(\boldsymbol{X}, \theta)\) 是一个枢轴, 则对于一个指定的 \(\alpha\) 值, 我们能够求出数 \(a\) 和 \(b\), 它们不依赖于 \(\theta\), 满足
则对于每个 \(\theta_0 \in \Theta\)
就是关于 \(H_0: \theta=\theta_0\) 的一个水平为 \(\alpha\) 的检验的接受区域. 我们将用检验反转法构造 置信集合, 但现在用枢轴指出了接受区域的具体形式。利用定理 \(9.2 .2\), 反转检验而得到
并且 \(C(\boldsymbol{X})\) 是关于 \(\theta\) 的一个 \(1-\alpha\) 置信集合. 如果 \(\theta\) 是一个实值参数并且对于每个 \(x\) \(\in X, Q(\boldsymbol{x}, \theta)\) 是 \(\theta\) 的一个单调函数, 则 \(C(\boldsymbol{x})\) 将是一个区间. 事实上, 如果 \(Q(\boldsymbol{x}\), \(\theta)\) 是 \(\theta\) 的一个增函数, 则 \(C(\boldsymbol{x})\) 具有 \(L(\boldsymbol{x}, a) \leqslant \theta \leqslant U(x, b)\) 的形式. 如果 \(Q(\boldsymbol{x}\), \(\theta\) ) 是 \(\theta\) 的一个减函数 (这是典型的), 则 \(C(\boldsymbol{x})\) 具有 \(L(\boldsymbol{x}, b) \leqslant \theta \leqslant U(\boldsymbol{x}, a)\) 的 形式。
9.2.3 枢轴化累积分布函数
前面我们看到枢轴量对于求解置信区间的帮助非常大，它可以极大程度上简化求解的过程。但是这些枢轴量都有着比较严格的前提条件，都是在位置-尺度中才成立。接下来，我们将从积分变换入手，对枢轴量进行前提更少的推广。
首先回想一下，在第三章中我们得到过一个结论，即概率积分变换，随机变量的累计分布量是服从均匀分布的，这是一个概率分布与参数 \(\theta\) 无关的量，也是一个枢轴量，因此我们可以通过这个枢轴来求解置信区间。而这需要分为连续随机变量和离散随即变量两种情况。
定理 9.2.12： (连续型累积分布函数) 设 \(\mathcal{T}\) 是一个以 \(F_T(t \mid \theta)\) 为 其累积分布函数的连续型统计量。设 \(\alpha_1+\alpha_2=\alpha\) 其中 \(0<\alpha<1\) 是固定值。假定对于 每个 \(t \in T\), 函数 \(\theta_L(t)\) 和 \(\theta_U(t)\) 可以被如下定义。
i. 如果对于每个 \(t, F_T(t \mid \theta)\) 都是 \(\theta\) 的一个减函数, 则由
定义 \(\theta_L(t)\) 和 \(\theta_U(t)\)。
ii. 如果对于每个 \(t, F_T(t \mid \theta)\) 都是 \(\theta\) 的一个增函数, 则由
定义 \(\theta_L(t)\) 和 \(\theta_U(t)\)。
那么随机区间 \(\left[\theta_L(T), \theta_U(T)\right]\) 是 \(\theta\) 的一个 \(1-\alpha\) 置信区间。
定理 9.2.14： (离散型累积分布函数) 设 \(T\) 是一个以 \(F_T(t \mid \theta)=\) \(P(T \leqslant t \mid \theta)\) 为其累积分布函数的离散型统计量。设 \(\alpha_1+\alpha_2=\alpha\) 其中 \(0<\alpha<1\) 是固定值。假定对于每个 \(t \in \mathcal{T}\), 函数 \(\theta_L(t)\) 和 \(\theta_U(t)\) 可以被如下定义。
i. 如果对于每个 \(t, F_T(t \mid \theta)\) 都是 \(\theta\) 的一个减函数, 则由
定义 \(\theta_L(t)\) 和 \(\theta_U(t)\)。
ii. 如果对于每个 \(t, F_T(t \mid \theta)\) 都是 \(\theta\) 的一个增函数, 则由
定义 \(\theta_L(t)\) 和 \(\theta_U(t)\)。
那么随机区间 \(\left[\theta_L(T), \theta_U(T)\right]\) 是关于 \(\theta\) 的一个 \(1-\alpha\) 置信区间。
9.2.4 Bayes区间
与之前的置信区间不同，bayes学派认为参数是由先验分布的，此时的参数 \(\theta\) 是一个真正的随机变量，所以我们可以考虑 \(\theta\) 的后验分布，从参数的角度来计算置信系数。
Bayes 集合和经典的集合有相当不同的概率解释。为了把它们区别开来, 称 Bayes 估计集合为可信集合 (credible sets) 而不是置信集合。
这样, 若 \(\pi(\theta \mid \boldsymbol{x})\) 是给定 \(\boldsymbol{X}=\boldsymbol{x}\) 条件下 \(\theta\) 的后验分布, 则对任意的集合 \(A \subset \Theta\), \(A\) 的可信概率就是
而 \(A\) 是关于 \(\theta\) 的一个可信集合。如果 \(\pi(\theta \mid x)\) 是一个概率质量函数, 则把以上表达式中的积分换成求和。
通常，可信区间的长度要小于置信区间，且更靠近0点，从直觉上来看这是一个比较好的结果。但是请记住这是需要代价的，对于可信区间来说，求解需要概率分布和先验分布。需要的信息比置信区间要多。Bayes方法和经典方法这两者没有谁优谁劣，因为两者的评判标准并不相同，所以对于不同的问题，要选择性地用更适合的方法。
9.3 区间估计量的评价方法
集合估计量有两个互相对立竞争的量, 就是尺寸和覆盖概率。自然, 人们希望集合具有小的尺寸和大的覆盖概率, 但是这样的集合通常难以构造。(显然可以通过增加集合的尺寸获取大的覆盖概率。区间 \((-\infty, \infty)\) 的覆盖概率是 1）在尺寸和覆盖概率来最优化一个集合之前, 必须决定怎样度量这些量。
一个置信集合的覆盖概率除特殊情况之外是参数的一个函数, 所以要考虑的不是一个而是无穷个值。然而大多数情况将通过置信系数, 即覆盖概率的下确界, 去度量覆盖概率性能。这是一种方式, 但不是唯一的总括覆盖概率信息的可用方式。
9.3.1 尺寸和覆盖概率
等分概率 \(\alpha\) 的策略在一些例子中比如正态分布中是最优的, 但不总是最优的。现在证明一个定理, 从而论证这个事实。该定理可以在较一般的情况下使用, 它只需要假定概率密度函数是单峰的 (unimodal)。单峰的定义: 一个概率密度函数 \(f(x)\) 是单峰的, 如果存在 \(x^*\) 使得 \(f(x)\) 在 \(x \leqslant x^*\) 非淢而 \(f(x)\) 在 \(x \geqslant x^*\) 非增。
定理 9.3.2： 设 \(f(x)\) 是一个单峰的概率密度函数。如果区间 \([a, b]\) 满足 i. \(\int_a^b f(x) \mathrm{d} x=1-\alpha\),
ii. \(f(a)=f(b)>0\),
iii. \(a \leqslant x^* \leqslant b\), 其中 \(x^*\) 是 \(f(x)\) 的一个众数 (mode),
则 \([a, b]\) 是所有满足 (i) 的区间中最短的.
9.3.2 与检验相关的最优性
覆盖假值的概率, 或假值覆盖概率 (probability of false coverage）间接地度量一个置信集合的尺寸. 直观地看, 较小的集合覆盖较少的值, 因此较少可能覆盖假值.
首先考虑一般情况, 这里 \(\boldsymbol{X} \sim f(\boldsymbol{x} \mid \theta)\), 并且通过反转接受区域 \(A(\theta)\) 来构造一个对于 \(\theta\) 的置信集合 \(C(\boldsymbol{x}) . C(\boldsymbol{x})\) 的覆盖概率, 即真值覆盖概率是由 \(P_\theta(\theta \in\) \(C(\boldsymbol{X})\) ) 给出的 \(\theta\) 的函数. 假值覆盖概率是 \(\theta\) 和 \(\theta^{\prime}\) 的函数, 它定义为当 \(\theta\) 为真值时, 覆盖 \(\theta^{\prime}\) 的概率
分别地对于单侧和双侧区间定义假值覆盖概率是有意义的. 例如, 若有一个置信下界, 就是说肯定 \(\theta\) 比一个值大, 于是覆盖假值只有在我们的区间覆盖了过小的 \(\theta\) 值的情况下才发生. 类似的论证引导我们给出用于置信上界与双侧置信界的假值覆盖概率定义.
一个在一类 \(1-\alpha\) 置信集合上最小化假值覆盖概率的 \(1-\alpha\) 置信集合叫做一致最精确 (uniformly most accurate, UMA) 置信集合. 例如, 我们可以考虑在形如 \([L(\boldsymbol{x}), \infty)\) 的集合中寻找一个 UMA 置信集合. 下面我们将要证明, UMA 置信 集合是通过反转 UMP 检验的接受区域来构造的. 遗憾的是, 虽然 UMA 置信集合 是一个理想的集合, 但是它仅在 (就像做 UMP 检验) 相当稀少的情况下才存在. 特别地, 因为 UMP 检验一般是单侧的, 所以 UMA 区间也是这样. 然而它们在理 论上是优美的, 从下面的定理我们就会看到 \(H_0: \theta=\theta_0\) 对 \(H_1: \theta>\theta_0\) 的一个 UMP 检验产生一个 UMA 置信下界。
定理 9.3.5： 设 \(\boldsymbol{X} \sim f(\boldsymbol{x} \mid \theta)\), 其中 \(\theta\) 是一个实值参数. 对于每个 \(\theta_0 \in \Theta\), 设 \(A^*\left(\theta_0\right)\) 是关于 \(H_0: \theta=\theta_0\) 对 \(H_1: \theta>\theta_0\) 的一个 UMP 水平 \(\alpha\) 检验的接受区域. 设 \(C^*(\boldsymbol{x})\) 是通过反转上述 UMP 接受区域所建立的 \(1-\alpha\) 置信集合. 则对于任何其他的 \(1-\alpha\) 置信集合 \(C\), 有
\(P_\theta\left(\theta^{\prime} \in C^{\cdot}(\boldsymbol{X})\right) \leqslant P_\theta\left(\theta^{\prime} \in C(\boldsymbol{X})\right)\) 对于所有的 \(\theta^{\prime}<\theta\) 成立
定义 9.3.7： 一个 \(1-\alpha\) 置信集合 \(C(\boldsymbol{x})\) 是无偏的 (unbiased), 如果 \(P_\theta\left(\theta^{\prime} \in\right.\) \(C(\boldsymbol{X})) \leqslant 1-\alpha\) 对于所有的 \(\theta \neq \theta^{\prime}\) 成立。
这样, 对于一个无偏的置信集合, 假值覆盖概率决不会大于最小的真值覆盖概率. 可以通过反转无偏检验得到无偏置信集合。 就是说, 如果设 \(A\left(\theta_0\right)\) 是关于 \(H_0\) : \(\theta=\theta_0\) 对 \(H_1: \theta \neq \theta_0\) 的一个无偏的水平 \(\alpha\) 检验的接受区域, 而 \(C(\boldsymbol{x})\) 是由反转该接受 区域得到的 \(1-\alpha\) 置信集合, 则 \(C(\boldsymbol{x})\) 就是一个无偏的 \(1-\alpha\) 置信集合。
定理 9.3.9 (Pratt)： 设 \(X\) 是一个实值随机变量, \(X \sim f(x \mid \theta)\), 其中 \(\theta\) 是一个 实值参数。设 \(C(x)=[L(x), U(x)]\) 是一个关于 \(\theta\) 的置信区间. 如果 \(L(x)\) 和 \(U(x)\) 都是 \(x\) 的增函数, 则对于任意的值 \(\theta^*\), 有
\(C(X)\) 的期望长度等于假值覆盖概率的和, 积分域取遍参数的所有假值。
9.3.3 Bayes最优
获得具有指定覆盖概率的最小置信集合的目标也能利用 Bayes 准则达到。如果有一个后验分布 \(\pi(\theta \mid x)\), 即给定 \(\boldsymbol{X}=x\) 时 \(\theta\) 的后验分布, 而欲求集合 \(C\) \((\mathrm{x})\), 满足
(i) \(\int_{C(x)} \pi(\theta \mid \boldsymbol{x}) \mathrm{d} \theta=1-\alpha\) (原文中积分变元为 \(\boldsymbol{x}\))
(ii) 尺寸 \((C(x)) \leqslant\) 尺寸 \(\left(C^{\prime}(x)\right)\)
对于任何满足 \(\int_{C^{\prime}(x)} \pi(\theta \mid x) \mathrm{d} \theta \geqslant 1-\alpha\) 的集合 \(C^{\prime}(\boldsymbol{x})\) 成立。
如果用长度当作尺寸大小的测度, 则我们可以应用定理 \(9.3 .2\) 得到以下的 结果。
推论 9.3.10： 如果后验密度 \(\pi(\theta \mid x)\) 是单峰的, 则对于一个给定的 \(\alpha\) 值, 关于 \(\theta\) 的最短可信区间由
给出。
上式中给出的可信集合叫做最高后验密度 (highest posterior density, HPD）区域, 因为它由那些后验密度最高的参数的值所组成. 注意 HPD 区域在形式上与似然区域是类似的。