7.1 点估计

对于一个已知分布函数形式的总体 $X$,

$$F(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$$

但存在未知参数的情况, 对于样本 $(X_1,X_2,\cdots ,X_n)$ 构造统计量

$${\hat{\theta }}_j={\hat{\theta }}_j(X_1,X_2,\cdots ,X_n),j=1,2,\cdots ,k$$

再代入样本数据 $(x_1,x_2,\cdots ,x_n)$, 对未知参数 ${\theta }_j(j=1,2,\cdots ,k)$ 进行估计

这种用 $(X_1,X_2,\cdots ,X_n)$ 构造统计量去估计未知参数的方法称为点估计法

频率估计法

对于仅有一个未知量

利用事件 $A$ 在 $n$ 次试验中发生的频率 ${\displaystyle \frac{n_A}{n}}$ 作为事件 $A$ 发生的概率 $p$ 的估计量

$${\displaystyle \frac{n_A}{n}}\stackrel{p}{\to }p$$

矩估计法

用样本矩估计总体矩, 从而得到总体分布中的参数

样本的经验分布和样本矩去替换总体的理论分布和总体矩

特点

• 矩估计法的优点是简单易行，并不需要事先知道总体是什么分布
• 其缺点是当总体类型已知时，没有充分利用分布提供的信息
• 在一般情况下，矩估计量不具有唯一性

方法

设总体 $X$ 的分布函数为 $F(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$, 其中待估计的参数为 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$,

假设 $k$ 阶原点矩存在, 则记

$$E\left(X^r\right)={\mu }_r({\theta }_1,{\theta }_2,\cdots ,{\theta }_k),r=1,2,\cdots ,k$$

根据大数定律, 列出如下方程

$${\displaystyle \{\begin{array}{c}{\displaystyle {\mu }_1({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)=\frac{1}{n}\sum _{i=1}^n{X}_i,}\\ {\displaystyle {\mu }_2({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)=\frac{1}{n}\sum _{i=1}^n{X}_i^2,}\\ ⋮\\ {\displaystyle {\mu }_k({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)=\frac{1}{n}\sum _{i=1}^n{X}_i^k}\end{array}}$$

如果方程组有解 (事实上, 上述方程都是近似方程), 可以得到

矩估计量

$$\begin{array}{c}{\hat{\theta }}_1={\hat{\theta }}_1(X_1,X_2,\cdots ,X_n),\\ {\hat{\theta }}_2={\hat{\theta }}_2(X_1,X_2,\cdots ,X_n),\\ ⋮\\ {\hat{\theta }}_k={\hat{\theta }}_k(X_1,X_2,\cdots ,X_n),\end{array}$$

矩估计值

代入样本值可得矩估计量的样本值

$$\begin{array}{c}{\hat{\theta }}_1={\hat{\theta }}_1(x_1,x_2,\cdots ,x_n),\\ {\hat{\theta }}_2={\hat{\theta }}_2(x_1,x_2,\cdots ,x_n),\\ ⋮\\ {\hat{\theta }}_k={\hat{\theta }}_k(x_1,x_2,\cdots ,x_n),\end{array}$$

常见分布的矩估计量

正态分布

$$\{\begin{array}{l}{\hat{\mu }}_{\text{矩 }}=\overline{X}\\ {\hat{\sigma }}_{\text{矩 }}^2={\displaystyle \frac{1}{n}\sum _{i=1}^n{X}_i^2-{\overline{X}}^2}\end{array}$$

指数分布

$${\hat{\lambda }}_{\text{矩 }}=1/\overline{X}$$

均匀分布

$$\{\begin{array}{l}{\hat{a}}_{\text{矩 }}=\overline{X}-\sqrt{3\left({\displaystyle \frac{1}{n}\sum _{i=1}^n{X}_i^2-{\overline{X}}^2}\right)}=\overline{X}-\sqrt{{\displaystyle \frac{3}{n}\sum _{i=1}^n{(X_i-\overline{X})}^2}}\\ {\hat{b}}_{\text{矩 }}=\overline{X}+\sqrt{3\left({\displaystyle \frac{1}{n}\sum _{i=1}^n{X}_i^2-{\overline{X}}^2}\right)}=\overline{X}+\sqrt{{\displaystyle \frac{3}{n}\sum _{i=1}^n{(X_i-\overline{X})}^2}}\end{array}$$

最大似然估计法

• 估计量 ${\hat{\theta }}_{MLE}$
• 估计值 ${\hat{\theta }}_{mle}$

步骤

1. 构造似然函数

离散型

$$\begin{array}{rl}L({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)& =P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)\\ & =\prod _{i=1}^{n}P(x_i;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)\end{array}$$

连续型

$$L({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)=\prod _{i=1}^{n}f(x_i;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$$

2. 列出似然方程组

求 $({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_k)$ 使得

$$L({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_k)=maxL({\theta }_1,{\theta }_2,\cdots ,{\theta }_k),$$

似然方程组

$$\frac{\partial L({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)}{\partial {\theta }_i}=0,i=1,2,\cdots ,k$$

对数似然方程组

可以简化运算

$$\frac{\partial \ln L({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)}{\partial {\theta }_i}=0,i=1,2,\cdots ,k$$

3. 求解极大值点

解以上方程组, 求出 $({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_k)$

常见分布的极大似然估计

正态分布

$$\{\begin{array}{l}{\hat{\mu }}_{mle}={\displaystyle \frac{1}{n}\sum _{i=1}^n{x}_i=\overline{x}}\\ {\hat{\sigma }}_{mle}^2={\displaystyle \frac{1}{n}\sum _{i=1}^n{(x_i-\overline{x})}^2}\end{array}$$

均匀分布

$$\hat{a}=x_{min},\hat{b}=x_{max}$$

性质

最大似然估计不变性原理

若 $\hat{\theta }$ 是未知参数 $\theta$ 的最大似然估计, 又 $g(\theta )$ 是 $\theta$ 的连续函数, 且有单值反函数 $\theta =\theta (g)$, 则 $g=g(\theta )$ 的最大似然估计为

$$\hat{g}=g(\hat{\theta })$$

• 不变性原理对矩估计一般不成立

存在性与唯一性

极大似然估计不一定存在

极大似然估计不一定唯一

ppt例7