跳到主要内容

随机变量及其分布

随机变量把随机试验的结果数值化,概率分布则描述这些数值出现的规律。本章重点回答三个问题:随机变量是什么、如何刻画其分布,以及变量经过函数变换后分布如何改变。

1. 随机变量​

1.1 定义​

设随机试验的样本空间为 Ω\Omega。定义在 Ω\Omega 上、取值于实数集的函数

X:Ω→R,ω↦X(ω)X:\Omega\to\mathbb{R},\qquad \omega\mapsto X(\omega)

称为随机变量(Random Variable)。严格地说,还要求对任意实数 xx,集合

{ω:X(ω)≤x}\{\omega:X(\omega)\le x\}

是一个事件,从而其概率有定义。

提示

随机变量本质上是函数,不是“会随机变化的未知数”。随机性来自输入 ω\omega,函数规则 X(ω)X(\omega) 本身是确定的。通常用大写字母 X,YX,Y 表示随机变量,小写字母 x,yx,y 表示可能取值。

例如抛两枚硬币,令 XX 表示正面数,则

X(HH)=2,X(HT)=X(TH)=1,X(TT)=0.X(HH)=2,\quad X(HT)=X(TH)=1,\quad X(TT)=0.

同一个样本空间上可定义不同随机变量,例如还可令 YY 表示“是否出现两个相同面”。

2. 分布函数​

2.1 定义​

随机变量 XX 的分布函数(Cumulative Distribution Function, CDF)定义为

FX(x)=P(X≤x),−∞<x<+∞.F_X(x)=P(X\le x),\qquad -\infty<x<+\infty.

它对离散型、连续型以及混合型随机变量都适用,并且唯一确定 XX 的概率分布。 由分布函数可计算区间概率:

P(a<X≤b)=FX(b)−FX(a),P(a<X\le b)=F_X(b)-F_X(a),P(X>x)=1−FX(x).P(X>x)=1-F_X(x).

若需要处理端点,则要注意

P(X=x)=FX(x)−FX(x−),P(X=x)=F_X(x)-F_X(x^-),

其中 FX(x−)=lim⁡t↑xFX(t)F_X(x^-)=\lim_{t\uparrow x}F_X(t)。

2.2 基本性质​

任意分布函数都满足:

  1. 单调不减:若 x1<x2x_1<x_2,则 FX(x1)≤FX(x2)F_X(x_1)\le F_X(x_2);
  2. 右连续:lim⁡t↓xFX(t)=FX(x)\lim_{t\downarrow x}F_X(t)=F_X(x);
  3. 边界条件:
lim⁡x→−∞FX(x)=0,lim⁡x→+∞FX(x)=1.\lim_{x\to-\infty}F_X(x)=0,\qquad \lim_{x\to+\infty}F_X(x)=1.

反过来,任何满足以上三条性质的函数,都是某个随机变量的分布函数。

注意

FX(x)F_X(x) 在跳跃点取右侧值。跳跃高度就是 P(X=x)P(X=x)。连续型随机变量的分布函数连续,但“分布函数连续”不必然意味着存在概率密度。

3. 离散型随机变量​

3.1 概率质量函数​

若 XX 的全部可能取值为有限个或可数个 x1,x2,…x_1,x_2,\ldots,则称 XX 为离散型随机变量。其概率质量函数(PMF)为

pX(xk)=P(X=xk).p_X(x_k)=P(X=x_k).

它满足

pX(xk)≥0,∑kpX(xk)=1.p_X(x_k)\ge0,\qquad \sum_k p_X(x_k)=1.

分布函数可由 PMF 累加得到:

FX(x)=∑xk≤xpX(xk).F_X(x)=\sum_{x_k\le x}p_X(x_k).

3.2 0-1 分布​

若一次试验成功概率为 pp,令成功时 X=1X=1、失败时 X=0X=0,则

P(X=x)=px(1−p)1−x,x=0,1,P(X=x)=p^x(1-p)^{1-x},\qquad x=0,1,

记作 X∼Bernoulli⁡(p)X\sim\operatorname{Bernoulli}(p),其中 0≤p≤10\le p\le1。 它是所有二元随机结果的基本模型,如产品是否合格、一次投篮是否命中。

3.3 二项分布​

进行 nn 次相互独立、成功概率均为 pp 的伯努利试验,令 XX 为成功次数,则

P(X=k)=(nk)pk(1−p)n−k,k=0,1,…,n,P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}, \quad k=0,1,\ldots,n,

记作 X∼Bin⁡(n,p)X\sim\operatorname{Bin}(n,p)。 二项分布的适用条件是:试验次数固定、每次只有两类结果、各次独立、成功概率不变。 例 1:产品抽检 产品合格率为 0.950.95,有放回地抽取 10 件。恰有 8 件合格的概率为

P(X=8)=(108)0.9580.052≈0.0746.P(X=8)=\binom{10}{8}0.95^8 0.05^2\approx0.0746.

3.4 泊松分布​

若

P(X=k)=λke−λk!,k=0,1,2,…,P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}, \qquad k=0,1,2,\ldots,

则称 XX 服从参数为 λ\lambda 的泊松分布,记作 X∼Pois⁡(λ)X\sim\operatorname{Pois}(\lambda),其中 λ>0\lambda>0。 它常描述固定时间或空间区域内稀有事件的发生次数,例如一分钟内的来电数。模型通常隐含:不同小区间内的发生数相互独立,且发生率稳定。 当 nn 很大、pp 很小且 λ=np\lambda=np 适中时,有泊松近似

(nk)pk(1−p)n−k≈λke−λk!.\binom{n}{k}p^k(1-p)^{n-k} \approx \frac{\lambda^k e^{-\lambda}}{k!}.
备注

泊松近似不是只看 pp 小,还应保证试验次数大且 npnp 不太大。实际计算中常以题目要求或误差标准决定是否使用近似。

3.5 几何分布​

独立重复伯努利试验,成功概率为 pp。令 XX 表示首次成功所需的试验次数,则

P(X=k)=(1−p)k−1p,k=1,2,…,P(X=k)=(1-p)^{k-1}p,\qquad k=1,2,\ldots,

记作 X∼Geom⁡(p)X\sim\operatorname{Geom}(p),其中 0<p≤10<p\le1。 几何分布具有无记忆性:

P(X>m+n∣X>m)=P(X>n).P(X>m+n\mid X>m)=P(X>n).

也就是说,已经连续失败 mm 次,不会改变还需等待的概率规律。

注意

有些教材把“首次成功前的失败次数”定义为几何随机变量,此时取值从 00 开始。使用公式前必须确认定义。

3.6 超几何分布​

总体有 NN 个对象,其中 MM 个具有某特征。从中不放回抽取 nn 个,令 XX 为抽中特征对象的个数,则

P(X=k)=(Mk)(N−Mn−k)(Nn).P(X=k)= \frac{\binom{M}{k}\binom{N-M}{n-k}} {\binom{N}{n}}.

可取的整数 kk 满足

max⁡(0,n−N+M)≤k≤min⁡(n,M).\max(0,n-N+M)\le k\le\min(n,M).

记作 X∼Hypergeom⁡(N,M,n)X\sim\operatorname{Hypergeom}(N,M,n)。它与二项分布的核心区别是:超几何分布对应不放回抽样,各次抽取不独立;二项分布对应独立重复试验。

4. 连续型随机变量​

4.1 概率密度函数​

若存在非负可积函数 fX(x)f_X(x),使得

FX(x)=∫−∞xfX(t) dt,F_X(x)=\int_{-\infty}^{x}f_X(t)\,\mathrm{d}t,

则称 XX 为连续型随机变量,fXf_X 称为其概率密度函数(PDF)。 密度满足

fX(x)≥0,∫−∞+∞fX(x) dx=1,f_X(x)\ge0,\qquad \int_{-\infty}^{+\infty}f_X(x)\,\mathrm{d}x=1,

且

P(a<X≤b)=∫abfX(x) dx.P(a<X\le b)=\int_a^b f_X(x)\,\mathrm{d}x.

若 FXF_X 在 xx 处可导,则 fX(x)=FX′(x)f_X(x)=F_X'(x)。

提示

密度值不是概率,甚至可以大于 1;曲线下的面积才是概率。连续型随机变量在任意单点的概率均为零,因此端点是否包含不影响区间概率。

4.2 均匀分布​

若

fX(x)={1b−a,a<x<b,0,其他,f_X(x)= \begin{cases} \dfrac{1}{b-a},&a<x<b,\\ 0,&\text{其他}, \end{cases}

则称 XX 在 (a,b)(a,b) 上服从均匀分布,记作 X∼U(a,b)X\sim U(a,b),其中 a<ba<b。 其分布函数为

FX(x)={0,x≤a,x−ab−a,a<x<b,1,x≥b.F_X(x)= \begin{cases} 0,&x\le a,\\ \dfrac{x-a}{b-a},&a<x<b,\\ 1,&x\ge b. \end{cases}

区间内等长子区间具有相同概率,适合描述“在某范围内完全均匀落点”的理想模型。

4.3 指数分布​

若

fX(x)={λe−λx,x≥0,0,x<0,λ>0,f_X(x)= \begin{cases} \lambda e^{-\lambda x},&x\ge0,\\ 0,&x<0, \end{cases} \qquad \lambda>0,

则称 XX 服从参数为 λ\lambda 的指数分布,记作 X∼Exp⁡(λ)X\sim\operatorname{Exp}(\lambda)。 其分布函数为

FX(x)={0,x<0,1−e−λx,x≥0.F_X(x)= \begin{cases} 0,&x<0,\\ 1-e^{-\lambda x},&x\ge0. \end{cases}

指数分布常描述泊松过程中相邻事件的等待时间,并具有无记忆性:

P(X>s+t∣X>s)=P(X>t).P(X>s+t\mid X>s)=P(X>t).

4.4 正态分布​

若

fX(x)=12πσexp⁡[−(x−μ)22σ2],−∞<x<+∞,f_X(x)=\frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right], \qquad -\infty<x<+\infty,

则称 XX 服从均值参数 μ\mu、方差参数 σ2\sigma^2 的正态分布,记作

X∼N(μ,σ2),σ>0.X\sim N(\mu,\sigma^2),\qquad \sigma>0.

密度关于 x=μx=\mu 对称,σ\sigma 越大,曲线越平缓。标准正态变量记为 Z∼N(0,1)Z\sim N(0,1),其分布函数通常记作

Φ(z)=P(Z≤z).\Phi(z)=P(Z\le z).

若 X∼N(μ,σ2)X\sim N(\mu,\sigma^2),则标准化后

Z=X−μσ∼N(0,1),Z=\frac{X-\mu}{\sigma}\sim N(0,1),

所以

P(a<X≤b)=Φ(b−μσ)−Φ(a−μσ).P(a<X\le b) =\Phi\left(\frac{b-\mu}{\sigma}\right) -\Phi\left(\frac{a-\mu}{\sigma}\right).

利用对称性,Φ(−z)=1−Φ(z)\Phi(-z)=1-\Phi(z)。 例 2:正态概率 若 X∼N(100,152)X\sim N(100,15^2),则

P(85<X≤115)=Φ(1)−Φ(−1)≈0.6827.P(85<X\le115)=\Phi(1)-\Phi(-1)\approx0.6827.

5. 随机变量函数的分布​

设 Y=g(X)Y=g(X)。目标是由 XX 的分布求 YY 的分布。最通用的方法是先求分布函数:

FY(y)=P(Y≤y)=P(g(X)≤y).F_Y(y)=P(Y\le y)=P(g(X)\le y).

5.1 离散型变量的函数​

若 XX 为离散型,则

P(Y=y)=∑{x:g(x)=y}P(X=x).P(Y=y)=\sum_{\{x:g(x)=y\}}P(X=x).

当多个 xx 映射到同一个 yy 时,必须把对应概率相加。 例 3:平方变换 设 P(X=−1)=0.2P(X=-1)=0.2、P(X=0)=0.3P(X=0)=0.3、P(X=1)=0.5P(X=1)=0.5,令 Y=X2Y=X^2,则

P(Y=0)=0.3,P(Y=1)=0.2+0.5=0.7.P(Y=0)=0.3,\qquad P(Y=1)=0.2+0.5=0.7.

5.2 连续型变量的单调变换​

设 XX 的密度为 fXf_X,gg 严格单调、可导,且反函数为 x=g−1(y)x=g^{-1}(y),则

fY(y)=fX(g−1(y))∣ddyg−1(y)∣,f_Y(y)=f_X\left(g^{-1}(y)\right) \left|\frac{\mathrm{d}}{\mathrm{d}y}g^{-1}(y)\right|,

其中 yy 必须位于 gg 对 XX 支持集的像集内,其他位置密度为零。 绝对值不可省略;它保证密度非负,并补偿变换造成的尺度伸缩。 例 4:线性变换 若 Y=aX+bY=aX+b 且 a≠0a\ne0,则

fY(y)=1∣a∣fX(y−ba).f_Y(y)=\frac{1}{|a|} f_X\left(\frac{y-b}{a}\right).

特别地,若 X∼N(μ,σ2)X\sim N(\mu,\sigma^2),则

aX+b∼N(aμ+b,a2σ2).aX+b\sim N(a\mu+b,a^2\sigma^2).

5.3 非单调变换​

若 gg 不是一一映射,应对所有满足 g(xi)=yg(x_i)=y 的原像求和:

fY(y)=∑ifX(xi)∣g′(xi)∣,f_Y(y)=\sum_i\frac{f_X(x_i)}{|g'(x_i)|},

其中要求相关原像处 g′(xi)≠0g'(x_i)\ne0,并需正确确定 YY 的取值范围。更稳妥的做法仍是先求 FY(y)F_Y(y) 再求导。 例 5:均匀变量的平方 设 X∼U(−1,1)X\sim U(-1,1),令 Y=X2Y=X^2。当 0<y<10<y<1 时,

FY(y)=P(X2≤y)=P(−y≤X≤y)=y.\begin{aligned} F_Y(y) &=P(X^2\le y)\\ &=P(-\sqrt y\le X\le\sqrt y)=\sqrt y. \end{aligned}

因此

fY(y)={12y,0<y<1,0,其他.f_Y(y)= \begin{cases} \dfrac{1}{2\sqrt y},&0<y<1,\\ 0,&\text{其他}. \end{cases}

这里 x=yx=\sqrt y 与 x=−yx=-\sqrt y 两个原像都贡献了密度。

6. 分布模型的选择​

  • 固定次数独立试验中的成功数:二项分布;
  • 固定区域内稀有事件的发生数:泊松分布;
  • 首次成功所需次数:几何分布;
  • 有限总体不放回抽样中的特征数:超几何分布;
  • 有限区间内均匀落点:均匀分布;
  • 恒定发生率下的等待时间:指数分布;
  • 多个微小独立因素共同形成的测量值:正态分布常是合理近似。
备注

分布名称不能替代建模条件。先判断试验机制、取值范围与独立性,再选择公式;参数也应结合题意解释,而不是只代数计算。

7. 本章小结​

  • 随机变量是从样本空间到实数的函数;
  • 分布函数适用于所有随机变量,且满足单调不减、右连续和正确的极限;
  • 离散型变量用 PMF 描述,连续型变量可用 PDF 描述;
  • 常见分布各自对应特定的随机机制;
  • 求函数分布时,分布函数法最通用;密度变换公式须注意取值范围、绝对值和全部原像。

References​

  1. 盛骤,谢式千,潘承毅:《概率论与数理统计(第五版)》,高等教育出版社。
  2. 陈希孺:《概率论与数理统计》,中国科学技术大学出版社。
  3. Sheldon Ross, A First Course in Probability, Pearson.
  4. George Casella and Roger L. Berger, Statistical Inference, Cengage Learning.