跳到主要内容

动态测试:白盒测试——从代码结构反推测试用例

白盒测试(white-box,也叫 structural testing)指的是"你能看到代码,用代码结构指导测试用例设计"。它和 黑盒测试 的分界是信息不对称:黑盒只知道接口约定,白盒知道分支、循环、条件表达式的具体结构。

1. 什么是覆盖率​

白盒测试的核心概念是代码覆盖率:测试执行到了源码的多大比例。比例的分母是什么、分子怎么算,决定了你在测什么。

从弱到强,主流覆盖标准是一个偏序:

覆盖标准关注单元强弱
语句覆盖 Statement每一行是否执行过最弱
分支覆盖 Branch / Decision每个 if/switch 的 T/F 都取过中
条件覆盖 Condition每个原子条件的 T/F 都取过中
条件 / 分支覆盖 C/DC上两者都满足强
MC/DC每个原子条件"独立影响"结果强,DO-178C 要求
路径覆盖 Path所有可行路径都走过最强,一般不可达

强的覆盖蕴含弱的。100% 分支覆盖 ⇒ 100% 语句覆盖,反过来不成立。这就是为什么工业界很多团队要求"分支覆盖率 ≥ 80%"而不是"语句覆盖率 ≥ 80%"——后者太容易糊弄。

2. 用 max(a, b) 说清楚每种覆盖​

先看一个最小函数:

def max(a, b):
if a > b:
return a
else:
return b

语句覆盖:可执行 3 行。一个测试 max(2, 1) 走 return a 分支,语句覆盖 2/3。加一个 max(1, 2) 走 return b,语句覆盖到 100%。

分支覆盖:if a > b 有 T/F 两个分支。上面两个用例已经覆盖到 100%。

对这么简单的函数,语句和分支覆盖等价。差别要更复杂的例子才显出来。

现在换一个组合条件:

def classify(a, b, c):
if a > 0 and b > 0 and c > 0:
return "all positive"
else:
return "has non-positive"

语句覆盖:classify(1, 1, 1) + classify(-1, 1, 1) 已经 100%。 分支覆盖:同样两个用例够。 条件覆盖:条件里有三个原子——a>0、b>0、c>0。每个原子的 T 和 F 都要至少出现一次。上面两个用例:a>0 T/F 有了,b>0 只有 T,c>0 只有 T。要补 classify(1, -1, 1) 和 classify(1, 1, -1)。 MC/DC:每个原子必须独立影响结果。也就是要找一对用例,其他条件都一样、只改这个原子,结果翻转。对 3 个原子,至少需要 4 个用例。经典 MC/DC 表:

#a>0b>0c>0结果
1TTTall positive
2FTThas non-pos
3TFThas non-pos
4TTFhas non-pos

(1,2)证明 a>0 独立影响,(1,3)证明 b>0,(1,4)证明 c>0。MC/DC 对 n 个原子只需要 n+1 个用例,比路径覆盖的 2n2^n 便宜得多。这就是为什么民航软件(DO-178C Level A)强制要求 MC/DC 而不是路径覆盖:既严又可行。

路径覆盖:if a>0 and b>0 and c>0 因为短路求值,实际路径有 4 条。都要走过。原子数增加时路径数指数爆炸,工程上不可行。

3. 三角形分类:一个更狠的例子​

Myers 在 1979 年的 The Art of Software Testing 里用三角形分类折磨了几代工程师。函数签名:

def triangle(a, b, c):
"""
输入三条边,返回类型:
- "not a triangle"
- "equilateral"(等边)
- "isosceles"(等腰)
- "scalene"(不等边)
"""

Myers 请一群资深工程师设计测试用例,中位数是 7.8 个,几乎没人能覆盖全部关键情况。要覆盖全至少要考虑:

  • 非法输入(负数、零、非数)
  • 不构成三角形(a + b ≤ c)
  • 等边(a == b == c)
  • 等腰的三种情况(a==b、a==c、b==c)
  • 不等边

一个典型实现里 if a==b or a==c or b==c 就三个原子条件——MC/DC 要 4 个用例;加上不构成三角形和非法输入,最小 MC/DC 测试集大概是 10 个以上。三角形分类现在还是很多测试培训里的开胃菜,因为它把"人凭直觉容易漏什么"暴露得很清楚。

4. 覆盖率工具​

工具的作用是告诉你哪一行 / 哪一分支没走到。它不告诉你测试写得对不对,只告诉你测试走过了哪些代码。

工具语言覆盖标准
gcov / lcovC/C++语句 + 分支
JaCoCoJava / Kotlin语句 + 分支 + 圈复杂度
CoberturaJava(老)语句 + 分支
coverage.pyPython语句 + 分支
Istanbul / nyc / c8JS/TS语句 + 分支 + 函数
llvm-covLLVM 栈语句 + 分支 + 区域
go test -coverGo语句(内置)
Codecov / Coveralls云服务汇总、PR 展示、diff coverage

MC/DC 是硬需求:JaCoCo 报的 branch coverage 不是 MC/DC。要 MC/DC 覆盖率通常要 VectorCAST、LDRA、Rapita 这些付费工具,出现在航空 / 汽车 / 医疗设备的合规工具链里。

gcov 的典型使用流程:

gcc -fprofile-arcs -ftest-coverage -o app main.c
./app < testcase.txt
gcov main.c
# main.c.gcov 里每行前面标注:执行次数、####(未覆盖)、-(不可执行)

生成的报告长这样:

        1:   10:int max(int a, int b) {
2: 11: if (a > b)
1: 12: return a;
1: 13: else
1: 14: return b;
-: 15:}

数字是执行次数,#### 就是没跑到的红线——白盒测试要盯着的就是这几行。

5. Goodhart 定律:100% 覆盖 ≠ 没 bug​

覆盖率工具最大的陷阱是它变成 KPI 之后的样子。Goodhart 说得很清楚:"When a measure becomes a target, it ceases to be a good measure."

覆盖率被当 KPI 时会发生什么:

  • 只测 happy path 拉数字:assert True 也能拉高覆盖率
  • 删边界代码:把难覆盖的 if 分支去掉换成默认值,覆盖率上升
  • 写没有 assertion 的测试:跑到就行,不验证结果

举个例子,这个测试有 100% 语句覆盖,但抓不到任何 bug:

def test_max():
max(2, 1) # 没有 assert
max(1, 2)

覆盖率工具报告 100%——因为它只统计执行,不统计断言。这就是 变异测试 存在的理由:mutation testing 主动修改被测代码(把 > 改成 <、把 +1 改成 +2),看你的测试能不能抓到。抓到叫 "kill",抓不到叫 "survive"。

覆盖率和变异分数的关系:

状态覆盖率变异分数
没写测试0%0%
只跑不断言高低
好测试高高

好的团队看 mutation score 而不是 coverage。工具方面 PIT(Java)、mutmut(Python)、Stryker(JS / .NET)都是主流。详见 变异测试。

6. 覆盖率该看多少​

一个反复被问的问题:覆盖率应该到多少?没有绝对答案,但有几个经验:

  • 业务代码 70–85% 分支覆盖是甜蜜点。低于 70% 说明大量代码没有测;高于 85% 后每提升 1% 的成本急剧上升。
  • 核心库、金融、加密要 ≥ 90%,甚至跑 MC/DC 加变异测试
  • UI、脚本、一次性工具:0% 也可以接受,别把预算浪费在这
  • 不要看整体覆盖,看 diff coverage:每次 PR 新增代码的覆盖率应该 ≥ 80%,历史包袱慢慢补

Google 的实践是:C++ 项目 60%,Java 80%,JS 60%。低于这个数会有 code review 讨论,但没有硬阻塞。这个数字比很多创业公司规定的"必须 90%"务实得多。

7. 白盒测试的技巧​

白盒设计测试用例有几个套路:

看圈复杂度:McCabe 复杂度 = 分支数 + 1。经验上,圈复杂度就是该函数最少测试用例数的下限。复杂度 > 10 的函数强烈建议拆分——不是因为跑不动,而是因为你测不动。

盯着未覆盖的行:跑一遍测试、看 gcov / JaCoCo 报告哪些行红了。红行要么补测试要么删代码——保留一段不可测的代码就是保留一个未来的 bug 来源。

边界条件必测:< 和 <= 之差就是一个用例。if (x < 10) 一定要测 x = 9, 10, 11。这个技巧本来是 黑盒的边界值分析,白盒里也照用。

循环三档:0 次、1 次、多次。while 循环、for 循环都是。零次是很多人漏掉的——空数组、空字符串。

异常路径:try / catch 里的 catch 分支往往覆盖率最低,因为要造异常很麻烦。用 mock 强行抛异常,能显著提升 branch coverage 和实际健壮性。

8. 局限​

白盒的诚实局限:

  • 看不到规格:白盒只知道"代码怎么写",不知道"代码应该怎么写"。代码写错了实现,白盒测试也可能全绿。这就是为什么要有 黑盒测试——它按规格出题。
  • 重构脆弱:白盒测试和实现细节耦合。改了实现就要改测试,即便对外行为不变。过多白盒测试会拖住重构。
  • 组合爆炸:路径覆盖理论完美,工程不可行。MC/DC 是折中,但对超大函数依然爆炸。
  • 不测"应该但没写"的分支:如果开发者忘了处理 else 分支,白盒看不到——因为源码里就没有这个分支。这也是黑盒不能少的原因。
  • 动态语言的白盒更弱:反射、eval、动态分派让"分支"变得不确定,覆盖工具经常测不准。

9. 白盒测试在测试家谱里的位置​

往前看,白盒思想来自 1970 年代的结构化程序设计——既然程序是控制流图,那测试就沿着控制流图走。往后看,白盒和其他测试的关系:

  • 和 黑盒测试 互补:一个从代码往外、一个从规格往里
  • 和 静态测试 互补:白盒跑代码,静态不跑
  • 和 变异测试 一体:变异测试是白盒覆盖率的质量校验
  • 和 模糊测试 有交集:coverage-guided fuzzing(AFL、libFuzzer)用白盒覆盖率作为遗传算法的适应度函数
  • 和 精准测试 直接相关:精准测试用覆盖率数据做"改了哪段代码 → 该跑哪些测试"的映射
  • 和 基于模型的测试 交叉:从代码逆推控制流图做模型
  • 和 按粒度:测试层次:白盒最常在单元层用,越往集成 / E2E 越难白盒
  • 和 自动化测试 天然结合:覆盖率报告是 CI 的一等公民

一句话:白盒测试是测试用例设计的一半,另一半是黑盒。两个都不能少,覆盖率是白盒能给你的最直接反馈,但覆盖率不是终点,变异分数才是。