跳到主要内容

随机变量的数字特征

分布函数完整描述随机变量,但实际问题常需要少数几个数概括其位置、离散程度和相互关系。这些数称为随机变量的数字特征。数字特征不能替代分布,却能让比较、估计和推断更简洁。

1. 数学期望​

1.1 定义​

离散型随机变量 XX 取值 xix_i,若

∑i∣xi∣P{X=xi}<∞,\sum_i|x_i|P\{X=x_i\}<\infty,

则称期望存在,并定义

E(X)=∑ixiP{X=xi}.E(X)=\sum_ix_iP\{X=x_i\}.

连续型随机变量的密度为 fX(x)f_X(x),若

∫−∞+∞∣x∣fX(x) dx<∞,\int_{-\infty}^{+\infty}|x|f_X(x)\,dx<\infty,

则

E(X)=∫−∞+∞xfX(x) dx.E(X)=\int_{-\infty}^{+\infty}xf_X(x)\,dx.

绝对可积条件保证结果与求和或积分次序无关。期望是概率加权的平均位置,不一定是随机变量可能取得的值。

例:伯努利与二项分布

若 X∼Bernoulli⁡(p)X\sim \operatorname{Bernoulli}(p),则 E(X)=pE(X)=p。若 Sn=X1+⋯+Xn∼B(n,p)S_n=X_1+\cdots+X_n\sim B(n,p),由期望线性性立即得到 E(Sn)=npE(S_n)=np。

1.2 随机变量函数的期望​

若 Y=g(X)Y=g(X),无需先求 YY 的分布。只要相应绝对可积,

E[g(X)]={∑ig(xi)P{X=xi},X 离散,∫−∞+∞g(x)fX(x) dx,X 连续.E[g(X)]= \begin{cases} \displaystyle\sum_i g(x_i)P\{X=x_i\},&X\text{ 离散},\\[6pt] \displaystyle\int_{-\infty}^{+\infty}g(x)f_X(x)\,dx,&X\text{ 连续}. \end{cases}

二维连续情形下,

E[g(X,Y)]=∬R2g(x,y)fX,Y(x,y) dx dy.E[g(X,Y)]=\iint_{\mathbb R^2}g(x,y)f_{X,Y}(x,y)\,dx\,dy.

1.3 期望的重要性质​

在所涉及期望存在时:

  1. E(c)=cE(c)=c;
  2. E(aX+bY)=aE(X)+bE(Y)E(aX+bY)=aE(X)+bE(Y),不要求 X,YX,Y 独立;
  3. 若 X≤YX\le Y 几乎处处,则 E(X)≤E(Y)E(X)\le E(Y);
  4. ∣E(X)∣≤E(∣X∣)|E(X)|\le E(|X|);
  5. 若 X,YX,Y 独立,则 E[XY]=E(X)E(Y)E[XY]=E(X)E(Y)。

独立是第五条的充分条件,不是必要条件。期望的线性性则始终成立,是计算随机和均值的核心工具。

2. 方差与标准差​

若 E(X2)<∞E(X^2)<\infty,定义

Var⁡(X)=E{[X−E(X)]2}.\operatorname{Var}(X)=E\{[X-E(X)]^2\}.

标准差为 σX=Var⁡(X)\sigma_X=\sqrt{\operatorname{Var}(X)},其量纲与 XX 相同。计算时常用

Var⁡(X)=E(X2)−[E(X)]2.\operatorname{Var}(X)=E(X^2)-[E(X)]^2.

方差衡量随机变量围绕均值的平均平方偏离。平方既避免正负抵消,也会放大较大的偏差。

方差的基本性质为

Var⁡(X)≥0,Var⁡(X)=0⟺P{X=c}=1\operatorname{Var}(X)\ge0,\qquad \operatorname{Var}(X)=0\Longleftrightarrow P\{X=c\}=1

对某个常数 cc 成立,并且

Var⁡(aX+b)=a2Var⁡(X).\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X).

3. 矩​

若相应期望存在,称

μk′=E(Xk)\mu_k'=E(X^k)

为 kk 阶原点矩,称

μk=E{[X−E(X)]k}\mu_k=E\{[X-E(X)]^k\}

为 kk 阶中心矩。特别地,μ1′=E(X)\mu_1'=E(X),μ2=Var⁡(X)\mu_2=\operatorname{Var}(X)。

三阶标准化中心矩可描述偏度,四阶标准化中心矩可描述尾部与峰态:

γ1=μ3σ3,β2=μ4σ4,\gamma_1=\frac{\mu_3}{\sigma^3},\qquad \beta_2=\frac{\mu_4}{\sigma^4},

其中要求 σ>0\sigma>0 且有关高阶矩存在。矩不一定存在;例如标准 Cauchy 分布连数学期望也不存在。

4. 协方差​

若 X,YX,Y 都有有限二阶矩,定义

Cov⁡(X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y).\operatorname{Cov}(X,Y) =E\{[X-E(X)][Y-E(Y)]\} =E(XY)-E(X)E(Y).

协方差的符号反映线性同向或反向变化趋势,绝对值受量纲影响,不能直接比较不同变量对。

基本性质包括

Cov⁡(X,Y)=Cov⁡(Y,X),\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X),Cov⁡(aX+b,cY+d)=acCov⁡(X,Y),\operatorname{Cov}(aX+b,cY+d)=ac\operatorname{Cov}(X,Y),

以及双线性性质

Cov⁡(∑iaiXi,∑jbjYj)=∑i∑jaibjCov⁡(Xi,Yj).\operatorname{Cov}\left(\sum_i a_iX_i,\sum_jb_jY_j\right) =\sum_i\sum_ja_ib_j\operatorname{Cov}(X_i,Y_j).

因此

Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)+2Cov⁡(X,Y).\operatorname{Var}(X+Y) =\operatorname{Var}(X)+\operatorname{Var}(Y) +2\operatorname{Cov}(X,Y).

更一般地,

Var⁡(∑i=1nXi)=∑i=1nVar⁡(Xi)+2∑1≤i<j≤nCov⁡(Xi,Xj).\operatorname{Var}\left(\sum_{i=1}^nX_i\right) =\sum_{i=1}^n\operatorname{Var}(X_i) +2\sum_{1\le i<j\le n}\operatorname{Cov}(X_i,X_j).

若各变量两两不相关,交叉项消失;独立蕴含不相关(有限二阶矩下),反之一般不成立。

5. 相关系数​

当 0<Var⁡(X),Var⁡(Y)<∞0<\operatorname{Var}(X),\operatorname{Var}(Y)<\infty 时,Pearson 相关系数定义为

ρXY=Cov⁡(X,Y)σXσY.\rho_{XY}= \frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}.

由 Cauchy--Schwarz 不等式,

∣ρXY∣≤1.|\rho_{XY}|\le1.

并且 ∣ρXY∣=1|\rho_{XY}|=1 当且仅当存在常数 a≠0,ba\ne0,b,使 P{Y=aX+b}=1P\{Y=aX+b\}=1;此时 ρ\rho 的符号与 aa 相同。

相关系数无量纲,只衡量线性关系。ρ=0\rho=0 不表示没有非线性联系,也不能单独证明因果关系。

6. 协方差矩阵​

对随机向量 X=(X1,…,Xn)T\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T},设每个分量都有有限二阶矩。记

μ=E(X),Σ=E[(X−μ)(X−μ)T].\boldsymbol\mu=E(\boldsymbol X),\qquad \boldsymbol\Sigma =E[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}].

其中第 (i,j)(i,j) 个元素为 Cov⁡(Xi,Xj)\operatorname{Cov}(X_i,X_j),对角元为各分量方差。Σ\boldsymbol\Sigma 必为对称半正定矩阵,因为对任意确定向量 a\boldsymbol a,

aTΣa=Var⁡(aTX)≥0.\boldsymbol a^{\mathsf T}\boldsymbol\Sigma\boldsymbol a =\operatorname{Var}(\boldsymbol a^{\mathsf T}\boldsymbol X)\ge0.

若 Y=AX+b\boldsymbol Y=A\boldsymbol X+\boldsymbol b,则

E(Y)=Aμ+b,Cov⁡(Y)=AΣAT.E(\boldsymbol Y)=A\boldsymbol\mu+\boldsymbol b,\qquad \operatorname{Cov}(\boldsymbol Y)=A\boldsymbol\Sigma A^{\mathsf T}.

这一公式把多个方差与协方差的展开统一成矩阵运算。

7. 条件期望​

7.1 给定随机变量的条件期望​

离散情形下,当 P{Y=y}>0P\{Y=y\}>0,

E(X∣Y=y)=∑xxP{X=x∣Y=y}.E(X\mid Y=y)=\sum_xxP\{X=x\mid Y=y\}.

连续情形下,当条件密度存在,

E(X∣Y=y)=∫−∞+∞xfX∣Y(x∣y) dx.E(X\mid Y=y)=\int_{-\infty}^{+\infty}x f_{X\mid Y}(x\mid y)\,dx.

把 yy 换回随机变量 YY,得到 E(X∣Y)E(X\mid Y)。它本身是 YY 的函数,也是一个随机变量。直观上,它是在观察到 YY 后,对 XX 的均方意义下最佳预测。

7.2 重要性质​

在相应可积条件下:

  1. E[aX+bZ∣Y]=aE(X∣Y)+bE(Z∣Y)E[aX+bZ\mid Y]=aE(X\mid Y)+bE(Z\mid Y);
  2. 若 X≥0X\ge0,则 E(X∣Y)≥0E(X\mid Y)\ge0;
  3. 若 g(Y)Xg(Y)X 可积,则
E[g(Y)X∣Y]=g(Y)E(X∣Y);E[g(Y)X\mid Y]=g(Y)E(X\mid Y);
  1. 全期望公式(塔式法则)
E[E(X∣Y)]=E(X);E[E(X\mid Y)]=E(X);
  1. 若 XX 与 YY 独立,则 E(X∣Y)=E(X)E(X\mid Y)=E(X) 几乎处处;
  2. 若 σ(Y)\sigma(Y) 所含信息比 σ(Y,Z)\sigma(Y,Z) 少,则
E[E(X∣Y,Z)∣Y]=E(X∣Y).E[E(X\mid Y,Z)\mid Y]=E(X\mid Y).

全方差公式把总不确定性分成“条件内部”和“条件均值之间”两部分:

Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡[E(X∣Y)].\operatorname{Var}(X) =E[\operatorname{Var}(X\mid Y)] +\operatorname{Var}[E(X\mid Y)].

8. 常用不等式​

8.1 Jensen 不等式​

若 φ\varphi 为凸函数,XX 与 φ(X)\varphi(X) 可积,则

φ(E(X))≤E[φ(X)].\varphi(E(X))\le E[\varphi(X)].

它表达“先平均再作凸变换”不超过“先变换再平均”。取 φ(x)=x2\varphi(x)=x^2 可得 [E(X)]2≤E(X2)[E(X)]^2\le E(X^2)。

8.2 Cauchy--Schwarz 不等式​

若 E(X2),E(Y2)<∞E(X^2),E(Y^2)<\infty,则

∣E(XY)∣2≤E(X2)E(Y2).|E(XY)|^2\le E(X^2)E(Y^2).

将 X,YX,Y 中心化便得到 ∣Cov⁡(X,Y)∣≤σXσY|\operatorname{Cov}(X,Y)|\le\sigma_X\sigma_Y,从而证明 ∣ρXY∣≤1|\rho_{XY}|\le1。

8.3 Markov 与 Chebyshev 不等式​

若 X≥0X\ge0 且 E(X)<∞E(X)<\infty,则对 a>0a>0,

P{X≥a}≤E(X)a.P\{X\ge a\}\le\frac{E(X)}a.

若 Var⁡(X)<∞\operatorname{Var}(X)<\infty,则对任意 ε>0\varepsilon>0,

P{∣X−E(X)∣≥ε}≤Var⁡(X)ε2.P\{|X-E(X)|\ge\varepsilon\} \le\frac{\operatorname{Var}(X)}{\varepsilon^2}.

它们只利用少量数字特征,不要求知道完整分布,因此普适但往往不够精确。

References​

[1]. 盛骤, 谢式千, 潘承毅. 概率论与数理统计[M]. 第4版. 北京: 高等教育出版社, 2008.

[2]. 茆诗松, 程依明, 濮晓龙. 概率论与数理统计教程[M]. 第3版. 北京: 高等教育出版社, 2019.

[3]. Sheldon M. Ross. A First Course in Probability[M]. 10th ed. Pearson, 2019.