跳到主要内容

样本及抽样分布

数理统计从有限样本出发,对总体的分布或未知参数作出推断。本章的核心是区分三个层次:总体分布描述数据来源,样本是随机变量组,统计量则是由样本构造且不含未知参数的函数。

1. 总体、样本与统计量​

1.1 总体与分布​

研究对象全部个体组成的集合称为总体(Population)。统计学更关心总体上数量指标 XX 的概率分布 F(x)F(x),因此常把随机变量 XX 本身称为总体。

  • 若 FF 的形式完全已知,称为简单总体;
  • 若分布族已知而参数 θ\theta 未知,记为 F(x;θ)F(x;\theta);
  • 若分布形式也未知,则属于非参数问题。

例如灯泡寿命可建模为 X∼Exp⁡(λ)X\sim \operatorname{Exp}(\lambda),λ\lambda 是待推断参数;成年男性身高常近似建模为 X∼N(μ,σ2)X\sim N(\mu,\sigma^2)。

1.2 简单随机样本​

从总体 FF 中抽取 nn 个个体,所得观测对应的随机变量

X1,X2,…,XnX_1,X_2,\ldots,X_n

称为容量为 nn 的简单随机样本,若它满足:

  1. 同分布性:每个 XiX_i 都服从总体分布 FF;
  2. 独立性:X1,…,XnX_1,\ldots,X_n 相互独立。

因此联合分布函数和连续型情形的联合密度分别为

Fn(x1,…,xn)=∏i=1nF(xi),fn(x1,…,xn;θ)=∏i=1nf(xi;θ).F_n(x_1,\ldots,x_n)=\prod_{i=1}^nF(x_i),\qquad f_n(x_1,\ldots,x_n;\theta)=\prod_{i=1}^nf(x_i;\theta).

抽样前,XiX_i 是随机变量;抽样后得到的 x1,…,xnx_1,\ldots,x_n 是一组确定的样本值。

前提不可省略

“随机抽取”不自动保证独立同分布。例如不放回抽取有限总体时,各次抽取并不严格独立;当抽样比很小时才常用独立模型近似。

1.3 统计量​

不含任何未知参数的样本函数

T=T(X1,…,Xn)T=T(X_1,\ldots,X_n)

称为统计量。统计量本身是随机变量,其概率分布称为抽样分布。常用统计量包括

Xˉ=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−Xˉ)2,\bar X=\frac1n\sum_{i=1}^nX_i,\qquad S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2,

以及样本 kk 阶原点矩和中心矩

Ak=1n∑i=1nXik,Bk=1n∑i=1n(Xi−Xˉ)k.A_k=\frac1n\sum_{i=1}^nX_i^k,\qquad B_k=\frac1n\sum_{i=1}^n(X_i-\bar X)^k.

注意 S2S^2 的分母是 n−1n-1,它是总体方差 σ2\sigma^2 的无偏估计;描述样本自身离散程度时也会使用分母为 nn 的 B2B_2。

2. 经验分布与顺序统计量​

2.1 经验分布函数​

给定样本,经验分布函数定义为

Fn(x)=1n∑i=1n1{Xi≤x}.F_n(x)=\frac1n\sum_{i=1}^n\mathbf 1_{\{X_i\le x\}}.

它等于样本中不超过 xx 的观测所占比例,是一个右连续、单调不减的阶梯函数,且每个不同样本点处跳跃相应的频率。

对固定的 xx,nFn(x)∼B(n,F(x))nF_n(x)\sim B(n,F(x)),所以

E⁡[Fn(x)]=F(x),Var⁡[Fn(x)]=F(x)[1−F(x)]n.\operatorname E[F_n(x)]=F(x),\qquad \operatorname{Var}[F_n(x)]=\frac{F(x)[1-F(x)]}{n}.

格里文科定理表明,在独立同分布条件下,

sup⁡x∣Fn(x)−F(x)∣→a.s.0.\sup_x|F_n(x)-F(x)|\xrightarrow{\text{a.s.}}0.

这说明经验分布能一致逼近总体分布,是许多非参数方法的基础。

2.2 顺序统计量​

将样本从小到大排列:

X(1)≤X(2)≤⋯≤X(n).X_{(1)}\le X_{(2)}\le\cdots\le X_{(n)}.

X(k)X_{(k)} 称为第 kk 个顺序统计量。其中 X(1)X_{(1)}、X(n)X_{(n)} 分别是样本最小值和最大值,极差为 R=X(n)−X(1)R=X_{(n)}-X_{(1)};样本中位数也可用中间位置的顺序统计量定义。

若总体连续且密度为 ff、分布函数为 FF,则

fX(k)(x)=n!(k−1)!(n−k)![F(x)]k−1[1−F(x)]n−kf(x).f_{X_{(k)}}(x) =\frac{n!}{(k-1)!(n-k)!} [F(x)]^{k-1}[1-F(x)]^{n-k}f(x).

其含义是:恰有 k−1k-1 个观测落在 xx 左侧,一个观测落在 xx 附近,其余落在右侧。

备注

顺序统计量经过排序后不再相互独立。上式还要求总体连续;离散总体存在并列值时不能直接套用该密度。

3. 三个重要抽样分布​

3.1 卡方分布​

若 Z1,…,ZνZ_1,\ldots,Z_\nu 相互独立且均服从 N(0,1)N(0,1),则

χ2=∑i=1νZi2∼χ2(ν),\chi^2=\sum_{i=1}^{\nu}Z_i^2\sim\chi^2(\nu),

其中 ν\nu 称为自由度。其取值非负,并且

E⁡(χ2)=ν,Var⁡(χ2)=2ν.\operatorname E(\chi^2)=\nu,\qquad \operatorname{Var}(\chi^2)=2\nu.

独立卡方变量具有可加性:若 U∼χ2(ν1)U\sim\chi^2(\nu_1)、V∼χ2(ν2)V\sim\chi^2(\nu_2) 且独立,则

U+V∼χ2(ν1+ν2).U+V\sim\chi^2(\nu_1+\nu_2).

自由度越大,卡方分布越接近对称;分位点常记为 χα2(ν)\chi^2_\alpha(\nu),本章约定

P{χ2(ν)>χα2(ν)}=α.P\{\chi^2(\nu)>\chi^2_\alpha(\nu)\}=\alpha.

3.2 tt 分布​

若 Z∼N(0,1)Z\sim N(0,1)、U∼χ2(ν)U\sim\chi^2(\nu) 且二者独立,则

T=ZU/ν∼t(ν).T=\frac{Z}{\sqrt{U/\nu}}\sim t(\nu).

tt 分布关于零对称,尾部比标准正态分布更厚;当 ν→∞\nu\to\infty 时,t(ν)t(\nu) 趋近于 N(0,1)N(0,1)。若 ν>1\nu>1,则 E⁡(T)=0\operatorname E(T)=0;若 ν>2\nu>2,则

Var⁡(T)=νν−2.\operatorname{Var}(T)=\frac{\nu}{\nu-2}.

tt 分布用于正态总体方差未知时的均值推断。其关键不只是“样本量小”,而是标准化分子与方差估计之间具有所需的独立结构。

3.3 FF 分布​

若 U∼χ2(ν1)U\sim\chi^2(\nu_1)、V∼χ2(ν2)V\sim\chi^2(\nu_2) 且相互独立,则

F=U/ν1V/ν2∼F(ν1,ν2).F=\frac{U/\nu_1}{V/\nu_2}\sim F(\nu_1,\nu_2).

FF 分布取非负值且通常右偏,用于方差比、方差分析和回归显著性检验。它有两个自由度,次序不可互换。若 Fα(ν1,ν2)F_\alpha(\nu_1,\nu_2) 表示右尾分位点,则

1F∼F(ν2,ν1),F1−α(ν1,ν2)=1Fα(ν2,ν1).\frac1{F}\sim F(\nu_2,\nu_1),\qquad F_{1-\alpha}(\nu_1,\nu_2)=\frac1{F_\alpha(\nu_2,\nu_1)}.

三个分布还满足重要关系:

T∼t(ν)⟹T2∼F(1,ν).T\sim t(\nu)\quad\Longrightarrow\quad T^2\sim F(1,\nu).
识别方法

平方和常对应卡方分布;“标准正态除以独立卡方均方的平方根”对应 tt 分布;“两个独立卡方均方之比”对应 FF 分布。独立性是定义的一部分。

4. 正态总体的抽样定理​

设 X1,…,XnX_1,\ldots,X_n 是来自 N(μ,σ2)N(\mu,\sigma^2) 的简单随机样本,则:

  1. 样本均值仍服从正态分布,
Xˉ∼N(μ,σ2n);\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right);
  1. 样本均值与样本方差相互独立,
Xˉ⊥S2;\bar X\perp S^2;
  1. 样本方差经标准化后服从卡方分布,
(n−1)S2σ2∼χ2(n−1);\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1);
  1. 当 σ2\sigma^2 未知时,
Xˉ−μS/n∼t(n−1).\frac{\bar X-\mu}{S/\sqrt n}\sim t(n-1).

其中第三式自由度是 n−1n-1,因为离差满足约束 ∑i=1n(Xi−Xˉ)=0\sum_{i=1}^n(X_i-\bar X)=0,只有 n−1n-1 个独立方向。

正态性在哪里必需

Xˉ\bar X 与 S2S^2 的独立性、方差统计量的精确卡方分布通常要求总体正态。一般总体下,大样本时可由中心极限定理近似处理 Xˉ\bar X,但不能据此断言 S2S^2 具有精确卡方分布。

4.1 两个正态总体​

设两组样本相互独立,分别来自 N(μ1,σ12)N(\mu_1,\sigma_1^2) 和 N(μ2,σ22)N(\mu_2,\sigma_2^2)。则

Xˉ−Yˉ∼N(μ1−μ2,σ12n1+σ22n2).\bar X-\bar Y\sim N\left(\mu_1-\mu_2,\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}\right).

若进一步假设 σ12=σ22=σ2\sigma_1^2=\sigma_2^2=\sigma^2,定义合并方差

Sp2=(n1−1)S12+(n2−1)S22n1+n2−2,S_p^2= \frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},

则

(Xˉ−Yˉ)−(μ1−μ2)Sp1/n1+1/n2∼t(n1+n2−2).\frac{(\bar X-\bar Y)-(\mu_1-\mu_2)} {S_p\sqrt{1/n_1+1/n_2}} \sim t(n_1+n_2-2).

若不假设方差相等,应使用 Welch 方法,而不应机械地使用合并方差。

5. 例题​

例 1:正态样本均值​

某零件长度 X∼N(20,0.32)X\sim N(20,0.3^2),独立抽取 n=36n=36 件。求 Xˉ\bar X 落在 19.919.9 与 20.120.1 之间的概率。

由正态总体抽样定理,Xˉ∼N(20,0.32/36)\bar X\sim N(20,0.3^2/36),故

P(19.9<Xˉ<20.1)=P(−2<Z<2)=2Φ(2)−1≈0.9545.P(19.9<\bar X<20.1) =P(-2<Z<2)=2\Phi(2)-1\approx0.9545.

这里使用精确正态分布;即使 nn 不大,只要总体正态,该结论也成立。

例 2:由样本方差构造概率​

从 N(μ,σ2)N(\mu,\sigma^2) 抽取容量为 1010 的样本,求

P{9S2σ2≤χ0.052(9)}.P\left\{\frac{9S^2}{\sigma^2}\le\chi^2_{0.05}(9)\right\}.

因为 9S2/σ2∼χ2(9)9S^2/\sigma^2\sim\chi^2(9),且 χ0.052(9)\chi^2_{0.05}(9) 是右尾概率为 0.050.05 的分位点,所求概率为 0.950.95。

6. 小结与易错点​

  • 样本是随机变量组,样本值是观测结果,统计量不能含未知参数;
  • “自由度”反映独立信息个数,样本方差对应 n−1n-1;
  • 查表前应确认分位点采用左尾还是右尾定义;
  • 使用 tt、卡方、FF 的精确结论时,必须检查正态性与独立性;
  • 两总体方法还要检查两组独立、配对或方差齐性等设计条件。

References​

  1. 盛骤,谢式千,潘承毅:《概率论与数理统计》,高等教育出版社。
  2. 茆诗松,程依明,濮晓龙:《概率论与数理统计教程》,高等教育出版社。
  3. Casella, G. and Berger, R. L., Statistical Inference, Cengage Learning.