4.4 协方差与相关系数

Summary

协方差计算公式

$$\mathrm{cov}(X,Y)=E(XY)-E(X)E(Y)$$$$D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{cov}(X,Y)$$

相关系数

$${\rho }_{XY}=\frac{\mathrm{cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

性质

线性性 (由定义或公式得到)

$$\mathrm{cov}(aX,bY)=ab\mathrm{cov}(X,Y)$$$$\mathrm{cov}(X,Y)=\mathrm{cov}(X-a,Y-b)$$

线性可加性

$$\mathrm{cov}(X+Y,Z)=\mathrm{cov}(X,Z)+\mathrm{cov}(Y,Z)$$

概念

协方差

随机变量 $X,Y$ 的协方差为

$$\mathrm{cov}(X,Y)=E[(X-E(X))(Y-E(Y))]$$

• $D(X)=\mathrm{cov}(X,X)$

相关系数

当 $D(X)>0,D(Y)>0$, 则有 $X$ 与 $Y$ 的相关系数

$${\rho }_{XY}=\frac{\mathrm{cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

• 相关系数为标准化的协方差 ${\rho }_{XY}=\mathrm{cov}(X^{\ast },Y^{\ast })$
• ${\rho }_{XY}=0$ 时, $X$ 与 $Y$ 不相关

协方差矩阵

$$\left(\begin{array}{cc}D(X)& \mathrm{cov}(X,Y)\\ \mathrm{cov}(X,Y)& D(Y)\end{array}\right)$$

计算

公式

$$\mathrm{cov}(X,Y)=E(XY)-E(X)E(Y)$$$$D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{cov}(X,Y)$$

定义

离散型

$$\mathrm{cov}(X,Y)=\sum _{i=1}^{+\mathrm{\infty }}\sum _{j=1}^{+\mathrm{\infty }}[x_i-E(X)][y_j-E(Y)]p_{ij}$$

连续型

$$\mathrm{cov}(X,Y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}[x-E(X)][y-E(Y)]f(x,y)\mathrm{d}x\mathrm{d}y$$

正态分布

$(X,Y)\sim N({\mu }_1,{\sigma }_1^2;{\mu }_2,{\sigma }_2^2;\rho )$, 相关系数为 $\rho$

运算性质

协方差的性质

设以下随机变量的协方差存在

可换性 $\mathrm{cov}(X,Y)=\mathrm{cov}(Y,X)$

变量与常数的协方差

$$\mathrm{cov}(X,C)=0$$

变量与自己的协方差为方差

$$\mathrm{cov}(X,X)=D(X)$$

线性性 (由定义或公式得到)

$$\mathrm{cov}(aX,bY)=ab\mathrm{cov}(X,Y)$$$$\mathrm{cov}(X,Y)=\mathrm{cov}(X-a,Y-b)$$

线性可加性

$$\mathrm{cov}(X+Y,Z)=\mathrm{cov}(X,Z)+\mathrm{cov}(Y,Z)$$

柯西施瓦茨不等式

$$|\mathrm{cov}(X,Y)|⩽\sqrt{D(X)}\sqrt{D(Y)}$$

相关系数的性质

规范性 $\left|{\rho }_{XY}\right|⩽1$

随机变量完全相关

$$\left|{\rho }_{XY}\right|=1⟺P(Y^{\ast }=\pm X^{\ast })=1$$

• ${\rho }_{XY}=1⟺P(Y^{\ast }=X^{\ast })=1$ 此时 $X,Y$ 完全正相关
• ${\rho }_{XY}=-1⟺P(Y^{\ast }=-X^{\ast })=1$ 此时 $X,Y$ 完全负相关

即 $|{\rho }_{XY}|$ 反映了由 $X$ 的线性函数 $aX+b$ 估计 $Y$ 所产生的均方误差的大小

• $$P(Y=aX+b)=1(a\ne 0)⟹|{\rho }_{XY}|=1$$

*均方误差

$$\underset{a,b}{min}E\left\{{[Y-(a+bX)]}^2\right\}=E\left\{{[Y-(a_0+b_{0}X)]}^2\right\}=(1-{\rho }_{XY}^2)D(Y)$$

• $b_0={\displaystyle \frac{\mathrm{cov}(X,Y)}{D(X)}}$
• $a_0=E(Y)-b_{0}E(X)$

均方误差为关于 $|{\rho }_{XY}|$ 的严格递减函数