变异测试:给测试套件下毒来测它自己
一句话说清:故意往被测代码里塞一堆小 bug 生成"变种"(mutant),跑一遍你的测试套件,看有多少变种被抓出来。抓不出来的那部分,就是你的测试套件的盲区。变异测试(Mutation Testing)在 1971 年由 Richard Lipton 提出,思想比它的实用工具早了三十年——直到多核 CPU 普及、编译型语言支持字节码改写,它才真正跑得起来。
它想解决的问题是覆盖率的漏洞:一段代码可以 100% 行覆盖 100% 分支覆盖,但断言全是 assertNotNull(result)——这种测试跑完啥也没验证。传统覆盖率只能告诉你"这行被跑到过",不告诉你"这行错了会不会有人叫"。变异测试补的是后一半:如果代码错了而测试没叫,那测试就是聋子。
1. 一个最简单的例子
假设有这样一段代码:
int max(int a, int b) {
if (a > b) return a;
return b;
}
你写了一条测试:
assertEquals(5, max(5, 3));
覆盖率 100%。看起来很牛。现在变异测试往里下毒,生成三个变种:
变种 M1: if (a >= b) return a; // > 改成 >=
变种 M2: if (a < b) return a; // > 改成 <
变种 M3: if (a > b) return b; // 返回值互换
- M1 跑
max(5, 3)返回 5,测试通过 → 变种存活(survived) - M2 跑
max(5, 3)返回 3,测试失败 → 变种被杀死(killed) - M3 跑
max(5, 3)返回 3,测试失败 → 变种被杀死
M1 存活告诉你:你没写 a == b 边界的用例,如果哪天真的把 > 写成 >=,你的测试根本不知道。这就是变异测试的价值——它是覆盖率骗不了的那一层。想让它闭嘴很简单,补一条 assertEquals(3, max(3, 3)) 就够了——但你从来没想过要补,是因为覆盖率告诉你已经"测完了"。变异测试的贡献就是把这类被隐藏的盲点挖出来。
2. 变异算子
变异算子(mutation operator)就是"往代码里塞什么样的小 bug"的规则。工业界最常用的几类:
| 简称 | 全称 | 干什么 | 例子 |
|---|---|---|---|
| AOR | Arithmetic Operator Replacement | 算术运算符替换 | a + b → a - b |
| ROR | Relational Operator Replacement | 关系运算符替换 | a > b → a >= b |
| COR | Conditional Operator Replacement |