跳到主要内容

概率论的基本概念

概率论研究随机现象中稳定的数量规律。本章从“可能发生什么”出发,逐步建立事件、概率、条件概率与独立性,为随机变量及统计推断奠定基础。

1. 随机试验与样本空间​

1.1 随机试验​

在相同条件下可以重复进行、事先知道所有可能结果,但每次试验前不能确定具体结果的试验,称为随机试验(Random Experiment),常记为 EE。

例如,抛一枚硬币、记录灯泡寿命、从一批产品中抽检一件,都是随机试验。

一个随机试验通常具有三个特点:

  1. 可在相同条件下重复进行;
  2. 所有可能结果事先可以明确;
  3. 单次试验的结果无法预先确定。

1.2 样本点与样本空间​

随机试验的每一个不可再分的可能结果称为样本点,常记为 ω\omega。全体样本点组成的集合称为样本空间(Sample Space),记为 Ω\Omega。

例如,掷一枚骰子:

Ω={1,2,3,4,5,6}.\Omega=\{1,2,3,4,5,6\}.

连续抛硬币直到首次出现正面,则

Ω={H,TH,TTH,TTTH,…}.\Omega=\{H,TH,TTH,TTTH,\ldots\}.

样本空间可以是有限集、可数无限集,也可以是不可数集合。例如测量灯泡寿命时,可取 Ω=[0,+∞)\Omega=[0,+\infty)。

备注

样本空间的选取取决于研究目的。掷两枚骰子时,若关心每枚骰子的点数,可取 Ω={(i,j):1≤i,j≤6}\Omega=\{(i,j):1\le i,j\le6\};若只关心点数之和,则可取 {2,3,…,12}\{2,3,\ldots,12\}。建模时必须先说明 Ω\Omega。

2. 随机事件及其运算​

2.1 事件​

样本空间 Ω\Omega 的子集称为随机事件,简称事件。试验结果 ω\omega 落入 AA 时,称事件 AA 发生。

  • Ω\Omega 称为必然事件;
  • ∅\varnothing 称为不可能事件;
  • 只含一个样本点的事件称为基本事件。

掷骰子时,“得到偶数”可表示为 A={2,4,6}A=\{2,4,6\}。

2.2 事件的集合运算​

设 A,BA,B 为两个事件:

  • 并事件:A∪BA\cup B,表示“AA 或 BB 至少一个发生”;
  • 交事件:A∩BA\cap B,表示“AA 与 BB 同时发生”,也记作 ABAB;
  • 差事件:A∖BA\setminus B,表示“AA 发生而 BB 不发生”;
  • 对立事件:Ac=Ω∖AA^c=\Omega\setminus A,表示“AA 不发生”;
  • 互斥事件:若 A∩B=∅A\cap B=\varnothing,则 A,BA,B 不能同时发生。

常用运算律包括

(A∪B)c=Ac∩Bc,(A∩B)c=Ac∪Bc,(A\cup B)^c=A^c\cap B^c,\qquad (A\cap B)^c=A^c\cup B^c,

这就是德摩根律。对事件序列同样成立:

(⋃i=1∞Ai)c=⋂i=1∞Aic.\left(\bigcup_{i=1}^{\infty}A_i\right)^c =\bigcap_{i=1}^{\infty}A_i^c.
注意

“互斥”与“独立”含义不同。互斥表示两个事件不能同时发生;独立表示一个事件是否发生不改变另一个事件的概率。概率均为正的互斥事件一定不独立。

3. 概率与公理​

3.1 概率公理​

概率是定义在事件上的函数 PP。对任意事件 AA,满足:

  1. 非负性:P(A)≥0P(A)\ge0;
  2. 规范性:P(Ω)=1P(\Omega)=1;
  3. 可列可加性:若 A1,A2,…A_1,A_2,\ldots 两两互斥,则
P(⋃i=1∞Ai)=∑i=1∞P(Ai).P\left(\bigcup_{i=1}^{\infty}A_i\right) =\sum_{i=1}^{\infty}P(A_i).

由公理可推出:

P(∅)=0,P(Ac)=1−P(A),P(\varnothing)=0,\qquad P(A^c)=1-P(A),A⊆B⟹P(A)≤P(B),A\subseteq B\Longrightarrow P(A)\le P(B),

以及加法公式

P(A∪B)=P(A)+P(B)−P(A∩B).P(A\cup B)=P(A)+P(B)-P(A\cap B).

对三个事件,使用容斥原理:

P(A∪B∪C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC).\begin{aligned} P(A\cup B\cup C) ={}&P(A)+P(B)+P(C)\\ &-P(AB)-P(AC)-P(BC)+P(ABC). \end{aligned}

3.2 古典概率​

若样本空间只有有限个样本点,且每个样本点等可能,则称为古典概型。事件 AA 的概率为

P(A)=∣A∣∣Ω∣=有利结果数所有可能结果数.P(A)=\frac{|A|}{|\Omega|} =\frac{\text{有利结果数}}{\text{所有可能结果数}}.

例 1:不放回抽样

从 5 件产品(其中 2 件次品)中随机抽取 2 件,求至少抽到一件次品的概率。

使用对立事件更简洁:

P(至少一件次品)=1−(32)(52)=710.P(\text{至少一件次品}) =1-\frac{\binom{3}{2}}{\binom{5}{2}} =\frac{7}{10}.

古典概率的关键不是“结果有限”,而是基本结果等可能。若骰子不均匀,就不能直接用点数个数之比。

3.3 几何概率​

若试验结果均匀落在可度量区域 Ω\Omega 内,且事件 AA 对应子区域,则

P(A)=m(A)m(Ω),P(A)=\frac{m(A)}{m(\Omega)},

其中 mm 可以是长度、面积或体积。

例 2:等公交车

公交车每 10 分钟一班,乘客到站时刻在一个班次间隔内均匀分布。等待不超过 3 分钟的概率为

P=310.P=\frac{3}{10}.
提示

几何概率中的“均匀”是模型假设。现实中到达时刻若集中在某些时段,就应使用概率密度,而不能简单用长度之比。

4. 条件概率与乘法公式​

4.1 条件概率​

已知事件 BB 发生后,事件 AA 发生的概率称为 AA 在 BB 条件下的条件概率:

P(A∣B)=P(A∩B)P(B),P(B)>0.P(A\mid B)=\frac{P(A\cap B)}{P(B)},\qquad P(B)>0.

直觉上,已知 BB 发生后,新的样本空间缩小为 BB,其中有利部分是 A∩BA\cap B。

例 3:条件改变样本空间

掷一枚公平骰子。已知点数为偶数,求点数大于 3 的概率。令

B={2,4,6},A={4,5,6},B=\{2,4,6\},\qquad A=\{4,5,6\},

则

P(A∣B)=P({4,6})P({2,4,6})=23.P(A\mid B)=\frac{P(\{4,6\})}{P(\{2,4,6\})}=\frac23.

4.2 乘法公式​

由条件概率定义可得

P(A∩B)=P(B)P(A∣B)=P(A)P(B∣A).P(A\cap B)=P(B)P(A\mid B)=P(A)P(B\mid A).

更一般地,

P(⋂i=1nAi)=P(A1)∏i=2nP(Ai∣A1∩⋯∩Ai−1),P\left(\bigcap_{i=1}^{n}A_i\right) =P(A_1)\prod_{i=2}^{n} P\left(A_i\mid A_1\cap\cdots\cap A_{i-1}\right),

其中涉及的条件事件概率必须大于零。

5. 全概率公式与贝叶斯公式​

5.1 完备事件组​

若事件 B1,…,BnB_1,\ldots,B_n 两两互斥,满足

⋃i=1nBi=Ω,P(Bi)>0,\bigcup_{i=1}^{n}B_i=\Omega,\qquad P(B_i)>0,

则称它们构成 Ω\Omega 的一个划分或完备事件组。

5.2 全概率公式​

对任意事件 AA,

P(A)=∑i=1nP(Bi)P(A∣Bi).P(A)=\sum_{i=1}^{n}P(B_i)P(A\mid B_i).

它将一个复杂事件按“原因” BiB_i 分解。P(Bi)P(B_i) 是原因的先验比例,P(A∣Bi)P(A\mid B_i) 是该原因下结果 AA 的发生率。

5.3 贝叶斯公式​

若 P(A)>0P(A)>0,则

P(Bj∣A)=P(Bj)P(A∣Bj)∑i=1nP(Bi)P(A∣Bi).P(B_j\mid A) =\frac{P(B_j)P(A\mid B_j)} {\sum_{i=1}^{n}P(B_i)P(A\mid B_i)}.

贝叶斯公式用于观察到结果 AA 后,反推各原因 BjB_j 的可能性。

例 4:医学检测

某病患病率为 1%1\%,检测对患者的阳性率为 95%95\%,对健康者的假阳性率为 5%5\%。记 DD 为患病,++ 为阳性,则

P(D∣+)=P(D)P(+∣D)P(D)P(+∣D)+P(Dc)P(+∣Dc)=0.01×0.950.01×0.95+0.99×0.05≈0.161.\begin{aligned} P(D\mid +) &=\frac{P(D)P(+\mid D)} {P(D)P(+\mid D)+P(D^c)P(+\mid D^c)}\\ &=\frac{0.01\times0.95} {0.01\times0.95+0.99\times0.05} \approx0.161. \end{aligned}

即使检测较准确,阳性者真正患病的概率也只有约 16.1%16.1\%,原因是患病率很低。

注意

不要混淆 P(A∣B)P(A\mid B) 与 P(B∣A)P(B\mid A)。检测“患病时为阳性”的概率很高,不代表“阳性时患病”的概率同样高。

6. 事件的独立性​

6.1 两个事件独立​

若

P(A∩B)=P(A)P(B),P(A\cap B)=P(A)P(B),

则称 AA 与 BB 相互独立。当 P(B)>0P(B)>0 时,这等价于 P(A∣B)=P(A)P(A\mid B)=P(A)。

若 A,BA,B 独立,则 AcA^c 与 BB、AA 与 BcB^c、AcA^c 与 BcB^c 也独立。

6.2 多个事件独立​

事件 A1,…,AnA_1,\ldots,A_n 两两独立,只要求任意两个事件独立;它们相互独立,则要求任取 k≥2k\ge2 个事件都有

P(Ai1∩⋯∩Aik)=∏j=1kP(Aij).P(A_{i_1}\cap\cdots\cap A_{i_k}) =\prod_{j=1}^{k}P(A_{i_j}).

相互独立必然两两独立,反之一般不成立。

备注

独立性通常来自试验机制或题目假设,不能仅凭“看起来互不影响”判断。计算时应检查乘积关系,建模时则需说明独立假设。

7. 伯努利试验​

一次试验只有“成功”和“失败”两种结果,成功概率为 pp、失败概率为 1−p1-p,称为一次伯努利试验。

若在相同条件下独立重复 nn 次,且每次成功概率均为 pp,称为 nn 重伯努利试验。一个指定的成功、失败序列若含 kk 次成功,其概率为

pk(1−p)n−k.p^k(1-p)^{n-k}.

含 kk 次成功的序列共有 (nk)\binom{n}{k} 个,因此成功总次数 XX 满足

P(X=k)=(nk)pk(1−p)n−k,k=0,1,…,n.P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}, \qquad k=0,1,\ldots,n.

这就是二项分布,下一章将系统讨论。

例 5:至少成功一次

某操作单次成功率为 0.80.8,独立尝试 3 次,至少成功一次的概率为

1−P(三次均失败)=1−(1−0.8)3=0.992.1-P(\text{三次均失败})=1-(1-0.8)^3=0.992.

8. 本章小结​

  • 样本空间描述全部可能结果,事件是样本空间的子集;
  • 概率由非负性、规范性和可列可加性刻画;
  • 条件概率是在信息更新后重新计算概率;
  • 全概率公式由原因推结果,贝叶斯公式由结果反推原因;
  • 独立性是概率乘法关系,不等同于互斥;
  • 伯努利概型要求重复、独立且每次成功概率相同。

References​

  1. 盛骤,谢式千,潘承毅:《概率论与数理统计(第五版)》,高等教育出版社。
  2. 陈希孺:《概率论与数理统计》,中国科学技术大学出版社。
  3. Sheldon Ross, A First Course in Probability, Pearson.
  4. Geoffrey Grimmett and David Stirzaker, Probability and Random Processes, Oxford University Press.