跳到主要内容

动态测试:黑盒测试——从规格反推测试用例

黑盒测试(black-box,也叫 specification-based testing)指的是"你只知道接口和规格,不看内部实现,据此设计测试用例"。它和 白盒测试 的分界是信息量:白盒盯着代码结构,黑盒盯着输入输出的契约。

1. 为什么需要黑盒​

有人问:既然白盒能覆盖到每一行代码,还要黑盒干什么?三个理由:

  1. 白盒抓不到"应该有但没有"的功能。规格里说要支持负数,开发者忘了写;源码里根本没这个分支,白盒覆盖率 100% 也看不出问题。黑盒按规格出题,正好补这个盲区。
  2. 实现无关的测试更稳。重构不改行为的话,黑盒测试不动;白盒测试往往要跟着改。
  3. 规格是用户约定。用户不关心你 if 怎么嵌套,只关心"我传这个参数、你返回这个结果"。黑盒测试从用户视角建模。

黑盒和白盒的对照:

维度白盒黑盒
信息看代码看规格
设计依据控制流图输入输出、状态转移
抓的 bug 类型实现错误规格未覆盖、需求错解
重构成本高低
覆盖度量语句 / 分支 / MC/DC需求覆盖率、场景覆盖率

2. 用"用户注册"贯穿始终​

后面每一节都用同一个 SUT(system under test),好看清楚不同技术设计出的用例长什么样。

规格:

register(username, password, email, age)

  • username:3–20 字符,只允许 [a-zA-Z0-9_]
  • password:8–64 字符,必须含字母和数字
  • email:合法邮箱格式
  • age:13–120 整数(未满 13 岁按 COPPA 拒绝)

返回:成功 → 用户对象;失败 → 具体错误码

3. 等价类划分​

等价类划分(Equivalence Partitioning,EP)说的是:同一等价类里所有输入的处理逻辑是一样的,测一个就够了。

关键是把输入空间分成有限个等价类,每类分有效和无效两种。对上面的规格:

字段有效类无效类
username长度 3–20 且只含合法字符长度 < 3;长度 > 20;含非法字符;空
password长度 8–64 且字母 + 数字长度 < 8;长度 > 64;纯字母;纯数字;含空格
email合法 x@y.z无 @;无 .;空
age整数 13–120< 13;> 120;非整数;空

原则是每个等价类至少一个用例。有效类可以合并(一个 register("alice", "abc12345", "a@b.c", 25) 就把四个"有效"覆盖了),无效类不合并——因为多个字段同时无效时程序可能短路返回第一个错,你就不知道其他无效字段的处理对不对。

结果大概是 1 个"全合法"用例 + N 个"单字段非法"用例。对上面的规格 N ≈ 13。

等价类的假设是"同一类内行为一致"。如果这个假设错了(比如 username 里 _ 和字母其实走了不同代码路径),一次一测就漏了。这就是为什么要有下一步:边界值。

4. 边界值分析​

Bug 喜欢住在边界上。off-by-one 是软件工程史上最常见的错误之一。边界值分析(BVA)在等价类的边界上重点采样。

对 username 长度 3–20,采样点:

值类型
2无效边界(下越界)
3有效边界(下)
4有效内部
19有效内部
20有效边界(上)
21无效边界(上越界)

工业经验是 boundary − 1, boundary, boundary + 1 三个点。对整数边界这三个点是刚需,对连续量(浮点、时间)则要考虑精度:1e-10 附近的浮点差可能触发不同分支。

age 的边界特别值得看:13 是规格边界(COPPA),120 是合理边界。测 age = 12 和 age = 13,能抓到"错把 < 写成 <="这种最经典的 off-by-one。

BVA 和 EP 一起用是标准做法:EP 保证类间都覆盖,BVA 保证类内边界都测到。这两个组合大概能给你 70% 的黑盒 bug 抓取率。

5. 决策表​

当输入之间有互相依赖的规则时,等价类和边界值不够用——你要说清楚"当条件 A、B、C 是这个组合时,动作是什么"。决策表就是把这些规则表格化。

用户注册的一个业务规则:"如果 age < 18,需要监护人邮箱;如果国家在 GDPR 区,需要明确 consent;如果两者都触发,consent 里必须包含监护人条款"。

决策表:

规则age < 18GDPR 区结果
R1TT要求 guardian + GDPR consent
R2TF要求 guardian
R3FT要求 GDPR consent
R4FF通过

nn 个二元条件生成 2n2^n 列,但很多列可以合并("don't care")。真实规格里 5–8 个条件常见,写出来后立刻能看出规格本身的漏洞——比如某个组合忘了定义。

决策表的价值有一半在设计阶段:你把它写出来,客户 / PM 看着表评审,很多规格坑当场就暴露。这是测试设计驱动需求澄清的经典场景。

6. 状态迁移测试​

如果 SUT 是有状态的(登录 / 未登录、订单待付 / 已付 / 已发货 / 已完成 / 已取消),单点输入不够,得测状态之间的迁移。

用户注册后紧接着的账户状态图:

[未验证] --verify--> [激活] --lock--> [锁定]
| | |
+-- 7天未验证 -->[过期] |
+---- unlock --->+

状态迁移测试的设计标准:

标准要求
0-switch每个迁移都测一次
1-switch每对连续迁移都测一次
N-switch每条长度为 N+1 的迁移序列都测

工业上 0-switch 是底线,1-switch 是较高要求,N-switch 只对核心场景做。

一个 1-switch 用例:注册 → 验证邮箱 → 锁定 → 解锁,把三次迁移串起来。你会发现两个迁移单独测都过、串起来就崩——通常是因为状态清理或时序假设错了。

状态迁移测试的自动化版本就是 基于模型的测试:把状态机形式化,让工具自动生成迁移序列。

7. 因果图​

因果图(Cause-Effect Graph)是决策表的图形化前身。把输入条件(causes)和输出效应(effects)用逻辑门连起来:AND、OR、NOT、约束(互斥、必要)。然后从图生成决策表。

现在工业界直接写决策表的多,因果图更多在教科书里。但它的思想很重要:如果你的系统输入之间有约束(比如"选'女'时必须填婚姻状态"),别用等价类划分——用因果图或决策表,让约束显式化。

8. 正交实验法​

面对多个多值输入组合时,等价类的笛卡尔积会爆炸。正交实验法(也叫组合测试、pairwise testing)说:如果 bug 大多由两个参数的交互引起,那只要覆盖所有"两两组合"就够了。

Kuhn 等人 2004 年在 NIST 的一份实证研究发现:软件缺陷中约 70–95% 由不超过 2 个参数的交互触发。这就是 pairwise 的经验依据。

举个例子,用户注册按平台 / 浏览器 / 语言组合:

  • 平台:Windows / macOS / Linux / iOS / Android(5)
  • 浏览器:Chrome / Firefox / Safari / Edge(4)
  • 语言:中 / 英 / 日 / 阿拉伯(4)

全组合是 5×4×4 = 80 用例。pairwise 大概能压缩到 20 用例——每一对 (平台, 浏览器)、(平台, 语言)、(浏览器, 语言) 组合都至少出现一次。工具方面 PICT(Microsoft)、ACTS(NIST)、AllPairs 都能自动生成。

代价是三阶交互 bug("macOS + Safari + 阿拉伯一起才出的 bug")可能漏。所以核心场景要额外补几个手工 corner。

9. 场景 / 用例测试​

前面几种是单接口视角。场景测试从端到端用户旅程出题:

  • 主场景:正常流程(注册 → 验证 → 登录 → 用产品 → 登出)
  • 替代场景:中间某步换个分支(用第三方登录代替密码登录)
  • 异常场景:中间某步失败(验证邮箱链接过期)

场景测试适合 集成和 E2E 层,单元级用得少。它抓的是"每个组件都对、串起来不对"的问题——通常是接口约定、状态传递、并发时序上的错。

10. 各技术适用场景对比​

技术最适合差在哪
等价类划分输入空间大、类内一致类内不均匀时漏
边界值分析数值 / 长度型输入逻辑型输入没意义
决策表规则密集、条件互相依赖条件多时表爆炸
状态迁移有状态系统无状态用不上
因果图条件间有约束图规模大时难维护
正交实验多参数、多取值三阶以上交互漏
场景测试端到端业务流单元级过重

实际项目里这些技术混合使用:单接口用 EP + BVA,业务规则用决策表,多参数配置用 pairwise,端到端用场景。没有哪一个能单独打天下。

用户注册这一个 SUT 打完全套下来大概是:

EP:        13 个单字段非法 + 1 个全合法 = 14
BVA: 每个数值字段 3 个边界点 × 3 个字段 ≈ 9
决策表: R1–R4 各一个 = 4
状态迁移: 0-switch 6 个 + 1-switch 补 8 个 = 14
Pairwise: 平台×浏览器×语言 ≈ 20
场景: 3–5 个主要 journey
合计: 60–70 个测试用例

黑盒设计有条经验:用例数在 50–100 之间一般是健康的。少于 30 通常漏得多,多于 200 通常是没做等价类合并或者过度组合。

11. 局限​

黑盒的诚实局限:

  • 看不到隐藏路径:源码里的 if magic_flag 你在规格里看不到,黑盒永远碰不到那条路径。所以要有 白盒测试。
  • 规格错了黑盒跟着错:如果需求本身就漏定义了某种情况,黑盒按需求出题也不会补。这是 探索性测试 存在的理由——测试员用启发式思考"规格里有没有说清"。
  • 依赖规格的可测性:模糊的规格生成模糊的用例。"系统应该表现良好"没法转成测试。写好规格本身是黑盒测试的前提工作。
  • 不知道内部状态:出了 bug 定位困难,因为你不知道内部走了哪条路径。日志、trace、白盒配合是刚需。
  • 难覆盖并发 / 时序:黑盒典型输入是"一次调用",并发 bug 是"多次调用之间的交错",需要 混沌工程、模糊测试 补。

12. 黑盒测试在测试家谱里的位置​

往前追溯,黑盒思想早在 1950 年代硬件测试就有("给个输入看输出,不管里面几个门")。1979 年 Myers 把它系统化写进 The Art of Software Testing。往后看,黑盒和其他测试的关系:

  • 和 白盒测试 互补:一从规格、一从代码
  • 和 基于模型的测试 是亲兄弟:MBT 把状态迁移测试自动化到极致
  • 和 探索性测试 互补:黑盒是"按脚本执行",探索是"边测边想"
  • 和 模糊测试 邻居:模糊测试是"黑盒边界值分析的极限化",随机 + 变异生成海量输入
  • 和 自动化测试 天然结合:黑盒用例最容易自动化,因为不依赖内部
  • 和 专项测试 交叉:性能、安全、可用性等专项大多用黑盒手法
  • 和 敏捷测试:BDD、验收测试全是黑盒风味
  • 和 测试管理 相关:黑盒用例数 = 需求覆盖率的分子

一句话:黑盒是用户视角的测试设计,白盒是开发者视角的测试设计。前者保证"该做的都做了",后者保证"做的都对了"。这两条一起才能守住软件质量。