6.1 数理统计基本知识

总体和个体

• 一般地，所研究对象的某个（或某些）数量指标的全体称为总体。
• 如果所研究的问题只有一个数量指标，就是一个随机变量，如果所研究的问题有多个数量指标，就是多维随机变量。
• 个体就是总体的每个数量指标。

样本和样本空间

• 一般地，为研究总体的特征，从总体中抽取部分个体，称为样本

• 若从某个总体 $X$ 中抽取了 $n$ 个个体, 记为 $(X_1,X_2,\cdots ,X_n)$, 则称其为总体 $X$ 的一个容量为 $n$ 的样本.

  依次对它们进行观察得到 $n$ 个数据 $(x_1,x_2,\cdots ,x_n)$, 称这 $n$ 个数据 ($n$ 维实向量) 为总体 $X$ 的一个容量为 $n$ 的样本观测值, 简称样本值

  可以将它们看作 $n$ 维随机向量 $X$ 的一组可能的取值, 样本 $(X_1,X_2,\cdots ,X_n)$ 的所有可能取值的集合称为样本空间, 记为 $\chi$

样本与统计量

简单随机样本

若来自总体 $X$ 的一个样本 $(X_1,X_2,\cdots ,X_n)$ 为 $X$ 的一个简单随机样本, 则其满足:

• 独立性
• 同分布性

放回抽样与不放回抽样

一般, 对有限总体, 放回抽样所得到的样本为简单随机样本, 但使用不方便

用不放回抽样代替 代替条件 $N/n\ge 10$

分布函数

总体的分布函数为 $F(x)$, 则 $(X_1,X_2,\cdots ,X_n)$ 的联合分布函数为

$$F(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}F\left(x_i\right)$$

概率密度

总体的概率密度为 $f(x)$, 则 $(X_1,X_2,\cdots ,X_n)$ 的联合概率密度为

$$f(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}f\left(x_i\right)$$

统计量

总体 $X$ 的简单随机样本 $(X_1,X_2,\cdots ,X_n)$, 有不含除自变量之外的未知参数的实连续函数 $g(r_1,r_2,\cdots ,r_n)$, 使随机变量 $g(X_1,X_2,\cdots ,X_n)$ 为统计量

统计量 $g(X_1,X_2,\cdots ,X_n)$ 的一个样本值: $g(x_1,x_2,\cdots ,x_n)$

常用统计量

https://teru.space/2022/09/17/概率统计笔记/#性质-4

设 $(X_1,X_2,\cdots ,X_n)$ 为总体 $X$ 的一个容量为 $n$ 的样本

样本均值

$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

样本值记为 $\overline{x}$

与数学期望的区别

• 样本均值是随机变量, 具有分布
• 数学期望是常数
• 依概率收敛到数学期望

样本均值与单个变量的协方差

$$\begin{array}{rl}\mathrm{cov}(X_i,\overline{X})& ={\displaystyle \frac{1}{n}}\sum _{k=1}^n\mathrm{cov}(X_i,X_k)\\ & \stackrel{\mathrm{独}\mathrm{立}\mathrm{同}\mathrm{分}\mathrm{布}}{=}{\displaystyle \frac{1}{n}}(E(X_i^2)+(n-1)E(X)E(X_i)-nE(X_i)E(X))\\ & ={\displaystyle \frac{1}{n}}(E(X^2)-E^2(X))\\ & ={\displaystyle \frac{1}{n}}D(X).\end{array}$$

样本方差

$$S^2=\frac{1}{n-1}\sum _{i=1}^n{(X_i-\overline{X})}^2$$

$S^2$ 的样本值记为 $s^2$

样本标准差

$$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n{(X_i-\overline{X})}^2}$$

$S$ 的样本值记为 $s$

样本均值、样本方差与期望、方差的关系

$$\begin{array}{rl}E(\overline{X})& =E(X)\\ D(\overline{X})& ={\displaystyle \frac{D(X)}{n}}\\ E(S^2)& =D(X)\end{array}$$

样本 k 阶原点矩

$$M_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k(k=1,2,\cdots )$$

$M_k$ 的样本值记为 $m_k$

• $M_1=\overline{X}$

样本 k 阶中心矩

$$(CM{)}_k=\frac{1}{n}\sum _{i=1}^n{(X_i-\overline{X})}^k(k=1,2,\cdots )$$

$(CM{)}_k$ 的样本值记为 $(\mathrm{cm}{)}_k$

• $(CM{)}_2=M_2-{\overline{X}}^2$
  • 知道均值和平方的均值即可知道 2 阶中心矩
• $(CM{)}_2={\displaystyle \frac{n-1}{n}}{S}^2\triangleq S_n^2$
  • 知道 2 阶中心矩即可知道方差

样本方差 ${\mathit{S}}^{\mathbf{2}}$ 与样本二阶中心矩 ${\mathit{S}}_{\mathit{n}}^{\mathbf{2}}$ 的不同

1. 关系式$$S^2={\displaystyle \frac{n}{n-1}}{S}_n^2$$
2. $$E(S_n^2)={\displaystyle \frac{n-1}{n}}{\sigma }^{2}E(S^2)={\sigma }^2$$

样本方差与修正的样本方差

有的书中, 为了方便, 定义 $S_n^2$ 为样本方差, 记为 $S^2$ 同时有修正的样本方差 $S_{\ast }^2={\displaystyle \frac{n}{n-1}}{S}_n^2={\displaystyle \frac{n}{n-1}}{S}^2$

顺序统计量

将一组样本的样本值 $(x_1,x_2,\cdots ,x_n)$ 从小到大排序后记为 $x_1^{\star }⩽x_2^{\star }⩽\cdots ⩽x_n^{\star }$,

定义 $X_{(k)}=x_k^{\star },k=1,2,\cdots ,n$, $X_{(k)}$ 的取值为样本中从小到大排第 $k$ 位的数

则称 $X_{(1)},X_{(2)},\cdots ,X_{(n)}$ 为顺序统计量

• 顺序统计量可能既不独立, 分布也不相同

极值的分布

Recall: 二维随机变量极值的分布

总体 $X$ (连续型随机变量) 分布函数 $F(x)$, 密度函数 $f(x)$ 样本极小值 $X_{(1)}$ 的分布密度与分布函数为

$$\begin{array}{rl}{f}_1(y)& =n[1-F(y){]}^{n-1}f(y)\\ F_1(y)& =1-[1-F(y){]}^n\end{array}$$

• 要满足样本全体大于 $y$

样本极大值 $X_{(n)}$ 的分布密度与分布函数为

$$\begin{array}{rl}{f}_n(y)& =n[F(y){]}^{n-1}f(y)\\ F_n(y)& =[F(y){]}^n\end{array}$$

• 要满足样本全体都小于 $y$

极差

$$D_n=X_{(n)}-X_{(1)}$$

*样本中位数

$$\tilde{X}=\{\begin{array}{cc}{X}_{\left(\frac{\mathrm{n}+1}{2}\right)},& \mathrm{n}\text{ 为奇数 }\\ {\displaystyle \frac{1}{2}}(X_{\left(\frac{\mathrm{n}}{2}\right)}+X_{(\frac{\mathrm{n}}{2}+1)}),& \mathrm{n}\text{ 为偶数 }\end{array}$$

*样本经验分布函数

$$F_n(x)=\{\begin{array}{lc}0,& x<x_{(1)}\\ {\displaystyle \frac{k}{n}},& x_{(k)}\le x<x_{(k+1)}\\ 1,& x\ge x_{(n)}\end{array}k=1,2,\cdots ,n-1$$

• $n\to \mathrm{\infty }$, $F_n(x)\underset{n\to \mathrm{\infty }}{\overset{p=1}{\to }}F(x)$, $F_n(x)$ 以概率 1 一致收敛于分布函数 $F(x)$

直方图

对于连续型随机变量的研究, 引入 “频率直方图”

设 $X$ 的分布函数和密度函数分别用 $F(x),f(x)$ 表示,

$$\begin{array}{rl}f(x)& =F^{\prime }(x)\\ & =\underset{\mathrm{\Delta }x\to 0}{lim}{\displaystyle \frac{F(x+\mathrm{\Delta }x)-F(x)}{\mathrm{\Delta }x}}\\ & =\underset{\mathrm{\Delta }x\to 0}{lim}{\displaystyle \frac{P(x<X\le x+\mathrm{\Delta }x)}{\mathrm{\Delta }x}}\end{array}$$

当 $|\mathrm{\Delta }x|$ 很小时, $f(x)\approx {\displaystyle \frac{P(x<X\le x+\mathrm{\Delta }x)}{\mathrm{\Delta }x}}$

密度函数在 $x$ 处的值 $f(x)$ 近似等于随机变量 $X$ 落入含有 $x$ 的小区间的概率 ֺ$÷$ 小区间的长度

$f(x)$ 与频率密度近似相等

$\mathit{\alpha }$ 分位数

对于连续性随机变量 $X$, 其概率密度为 $f(x)$,

• 上侧 $\mathit{\alpha }$ 分位数 ${\mathit{x}}_{\alpha }$: $P(X>x_{\alpha })=\alpha$
  • $\alpha$ 为 $(0,1)$ 内的给定常数
• 双侧 $\mathit{\alpha }$ 分位数 ${\mathit{x}}_{\alpha /2}$ (对于偶函数): $P(|X|>x_{\alpha /2})=\alpha$
  • $\alpha$ 为 $(0,{\displaystyle \frac{1}{2}})$ 内的给定常数