7.2 估计量的评价标准

一致不一定无偏

依概率收敛不能得到期望

$$X_n=\{\begin{array}{ll}{n}^2,& p={\displaystyle \frac{1}{n}},\\ 0,& p=1-{\displaystyle \frac{1}{n}}.\end{array}$$

$E(X_n)=n\to \mathrm{\infty },X_n\underset{p}{\overset{n\to \mathrm{\infty }}{\to }}0$

无偏性

评判估计量的好坏, 希望 $\hat{\theta }$ 在 $\theta$ 附近波动

无偏估计量

$\theta$ 的无偏估计量 $\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots X_n)$ 满足

$$E(\hat{\theta })=\theta$$

偏差

若 $E(\hat{\theta })\ne \theta$, 则估计量 $\hat{\theta }$ 的偏差

$$\epsilon =E(\hat{\theta })-\theta$$

常见估计量的无偏性

样本的 n 阶原点矩都是总体的 n 阶原点矩的无偏估计量

• $\overline{X}$ 为 $\mu$ 的无偏估计量
• $S^2$ 为 ${\sigma }^2$ 的无偏估计量
• $C{M}_2$ 需要修正为 ${\displaystyle \frac{n}{n-1}}C{M}_2$ 才是 ${\sigma }^2$ 的无偏估计量

性质

• 估计量的无偏性与其函数的无偏性无关
  • 即 $\hat{\theta }$ 是 $\theta$ 的无偏估计量, 但 $g(\hat{\theta })$ 不一定是 $g(\theta )$ 的
  • 如 $\overline{X}$ 与 $\overline{X^2}$
• 线性性
  • 由无偏性的公式得到
  • 若某个参数的估计量为两个参数的估计量的线性组合, 则这两个参数的无偏估计量按照相同的线性组合即为该参数的无偏估计量

求无偏估计量的方法

由于样本矩是总体矩的无偏估计量, 由数学期望线性性,

将未知参数表示为总体矩的线性函数, 用样本矩作为总体矩的估计量

有效性

对于参数 $\theta$ 的两个无偏估计量 ${\hat{\theta }}_1={\hat{\theta }}_1(X_1,X_2,\cdots ,X_n),{\hat{\theta }}_2={\hat{\theta }}_2(X_1,X_2,\cdots ,X_n)$, 利用有效性评判其好坏

$$D({\hat{\theta }}_1)<D({\hat{\theta }}_2)$$

则估计量 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效

无偏估计的方差下界

无偏估计的方差不是任意小

无偏估计的方差下界 $I(\theta )$ 由下列 Rao-Cramer 不等式确定

离散型

$P(X;\theta )$ 为 $X$ 的分布律, $\theta$ 为未知参数

$$D(\hat{\theta })\ge I(\theta )={\displaystyle \frac{1}{nE\left[{\left({\displaystyle \frac{\partial \ln P(X;\theta )}{\partial \theta }}\right)}^2\right]}}>0$$

连续型

$f(X;\theta )$ 为连续性随机变量 $X$ 的概率密度函数

$$D(\hat{\theta })\ge I(\theta )={\displaystyle \frac{1}{nE\left[{\left({\displaystyle \frac{\partial \ln f(X;\theta )}{\partial \theta }}\right)}^2\right]}}>0$$

有效估计量

未知参数 $\theta$ 的有效估计量 ${\hat{\theta }}_0$ 需要满足:

在所有无偏估计量 $\hat{\theta }$ 中均有

$$D({\hat{\theta }}_0)=I(\theta )\le D(\hat{\theta })$$

• 即某个无偏估计量的方差达到下界

一致性

参数 $\theta$ 的一致 (相合) 估计量 ${\hat{\theta }}_n=\hat{\theta }(X_1,X_2,\cdots X_n)$ 满足:

随机变量序列 $\{{\hat{\theta }}_n\}$ 依概率收敛于 $\theta$

即 $\mathrm{\forall }\epsilon >0$, 有

$$\underset{n\to +\mathrm{\infty }}{lim}P(|{\hat{\theta }}_n-\theta |<\epsilon )=1$$

或

$$\underset{n\to +\mathrm{\infty }}{lim}P(|{\hat{\theta }}_n-\theta |⩾\epsilon )=0$$

性质

矩法估计量的一致性

样本 $k$ 阶矩是总体 $k$ 阶矩的一致性估计量

• 矩法得到的估计量一般为一致性估计量
• $S_n^2$ 为 $D(X)$ 的一致性估计量

一致估计的不变性原理

若 $\hat{\theta }$ 为 $\theta$ 的一直估计, 则 $\hat{g}(\theta )$ 也为 $g(\theta )$ 的一致估计

一致性的判定

设 ${\hat{\theta }}_n=\hat{\theta }(X_1,X_2,\cdots X_n)$ 为未知参数 $\theta$ 的无偏估计量, 若

$$\underset{n\to \mathrm{\infty }}{lim}D({\hat{\theta }}_n)=0$$

则 ${\hat{\theta }}_n$ 为 $\theta$ 的一致估计量