5.2 大数定理

定理意义: 具有相同数学期望的独立随机变量序列的算术平均值 依概率收敛于数学期望

若不具有相同数学期望, 则依概率收敛于各自数学期望之和的平均值

定义

若随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$ 满足 $\mathrm{\forall }\epsilon >0$, 有

$$\underset{n\to +\mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E\left(X_k\right)|<\epsilon )=1$$

则称该序列服从大数定律

• 它表示: 当试验次数进行到无穷大时, 某一随机变量取值的邻域内概率收敛至1

Bernoulli (伯努利) 大数定理

设 $n_A$ 表示 $n$ 次独立重复试验中事件 $A$ 发生的次数, $p$ 是每次试验中 $A$ 发生的概率 (即: 伯努利试验)

则 $\mathrm{\forall }\epsilon >0$, 有

$$\underset{n\to +\mathrm{\infty }}{lim}P(|\frac{n_A}{n}-p|⩾\epsilon )=0$$

或

$$\underset{n\to +\mathrm{\infty }}{lim}P(|\frac{n_A}{n}-p|<\epsilon )=1$$

即随机事件 $A$ 在 $n$ 次试验中发生的频率 ${\displaystyle \frac{n_A}{n}}$ 依概率收敛于 $A$ 在一次试验中发生的概率 $p$

Chebyshev 大数定理

若满足以下条件:

• 随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$ 两两不相关: ${\rho }_{X_i{X}_j}=0(i\ne j)$
• 方差存在且有共同上界: $D\left(X_k\right)={\sigma }_k^2⩽{\sigma }^2,k=1,2,\cdots ,n,\cdots$

则该序列服从大数定理

记 $E(X_k)={\mu }_k$, 则 $\mathrm{\forall }\epsilon >0$,

$$\underset{n\to +\mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^n{\mu }_k|<\epsilon )=1$$

Markov 条件

两两不相关的条件可以替换为: (均值的方差依概率收敛到 0)

$$D\left({\displaystyle \frac{1}{n}}\sum _{k=1}^n{X}_k\right)=\frac{1}{n^2}D\left(\sum _{k=1}^n{X}_k\right)\stackrel{n\to \mathrm{\infty }}{\to }0$$

上述结果仍成立

Khintchine 大数定理

随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$

• 独立
• 同分布
• 数学期望存在 $E(X_k)=\mu$

则该序列服从大数定理,

$\mathrm{\forall }\epsilon >0$, 有

$$\underset{n\to +\mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |<\epsilon )=1$$