跳到主要内容

测试管理:让测试可持续的那些琐事

写测试用例是测试工程的一部分,但只是很小一部分。能持续跑下去的测试体系才是有价值的资产——用例散在个人 Excel 里、bug 提在群里、覆盖率没人看、报告发出去没人回,这些体系维护不下去。测试管理讲的就是怎么让这些琐事运转起来:用例怎么存、缺陷怎么走、度量怎么定、报告怎么写、团队怎么组。

1. 为什么"管理"值得单独一篇​

先看两个团队做同一件事的对比。

A 团队:新入职的 QA 打开 Confluence,找到最新一版测试用例,看到 500 条用例,前 300 条上次执行是 8 个月前的旧版本,标注了"这条已废弃"、"这条要重写"、"这条环境找 XX 拉"。执行不下去,只能找老员工问,老员工也想不起来。三天什么都没做。

B 团队:新入职的 QA 打开 TestRail,看到用例按业务模块组织,每条都关联到需求 ID 和自动化用例,最近一次执行 3 天前,通过率 92%,失败的 40 个用例每条都有对应缺陷单。今天下午跑一遍冒烟,明天开始接手订单模块的回归。

差别不在人,在管理体系。A 团队并不比 B 团队测得少,只是没沉淀。

2. 测试用例管理​

用例的三个反模式:

  1. Excel 文件:多人协作靠邮件发版本,谁改了什么无从追溯,历史执行结果不好归档
  2. Wiki 页面:更新方便但无结构化字段(优先级、模块、状态),过滤和统计都靠肉眼
  3. 代码库里的 markdown:接近版本控制的思路,但缺少执行追踪

工业界的选择是专门的用例管理系统。三家主流:

工具定位优势劣势
TestRail独立测试管理UI 干净、报告漂亮、易学与 Jira 集成要付费插件
Zephyr (for Jira)Jira 插件需求-用例-缺陷全在 Jira 里Jira 慢的时候它也慢
Xray (for Jira)Jira 插件深度自动化集成、支持 BDD学习曲线陡

选择的核心决策:你的团队用不用 Jira。用,Xray 或 Zephyr 是自然延伸;不用,TestRail 更清爽。

用例的最小结构:

ID: TC-1247
标题: 用户使用过期优惠券下单
优先级: P1
所属模块: 订单-优惠券
关联需求: STORY-4521
前置条件: 用户已登录,购物车有商品,优惠券 CP-EXP-01 已过期
步骤:
1. 进入结算页
2. 选择过期优惠券
3. 点击"使用"
预期结果:
- 弹出提示"该优惠券已过期"
- 优惠券未被应用
- 订单总额保持原价
自动化: 已自动化 (auto/order/coupon_expired.py)
最近执行: 2026-08-24, PASS

关键字段是优先级和关联需求。前者决定回归时先跑什么,后者让你能反查"这条需求有几条用例覆盖"——回答"够不够"的第一步。

用例的生命周期:写作 → 评审 → 稳定 → 定期维护 → 废弃。真实项目里 20–30% 的用例是"僵尸用例"——描述过时、步骤已改、断言不成立。每季度花两天集中清理一次,比追求"用例数量"重要得多。

3. 缺陷管理​

缺陷单是测试和开发之间最主要的通信介质。一个信息完整的缺陷单能省 30 分钟往复澄清;一个"页面挂了 @后端 快修"的缺陷单是效率黑洞。

缺陷单的必备字段:

字段作用
标题一句话说清"什么条件下什么现象"
严重级别(Severity)客观:崩溃 / 功能不可用 / 功能异常 / 界面/文案
优先级(Priority)主观:修的紧迫程度 P0-P3
环境dev/staging/prod、版本号、浏览器、OS
复现步骤别人能照着复现出来
期望 vs 实际分开写,不要"应该 XXX 但是没有"
附件截图、录屏、日志、请求 curl

Severity 和 Priority 是两回事。首页大字体错别字:Severity 低(不影响功能),Priority 高(影响品牌,要立刻改)。后台批处理某边缘错误:Severity 高(数据错),Priority 低(几个月才触发一次)。两个字段独立打分,能避免"这不严重但是我很急"这类误会。

缺陷状态机:

Open (新提)
├─→ In Progress (开发接手)
│ └─→ Fixed (代码提了)
│ └─→ Ready for Test (可测了)
│ ├─→ Verified (验证通过 → Closed)
│ └─→ Reopened (还没修好 → In Progress)
├─→ Rejected (不是 bug / 无法复现 / 设计如此)
├─→ Deferred (确认是 bug 但本次不修)
└─→ Duplicate (同一个问题已经提过)

Reopened 是重要指标。频繁 Reopen 意味着开发提交前没自测、或者测试用例覆盖不到位。团队健康度可以看月度 Reopen 率——超过 15% 就要警觉。

4. 测试度量​

度量的目的是帮助决策——决定放行、决定投资、决定改进方向。糟糕的度量反过来控制人的行为,导致所谓 Goodhart 定律:"When a measure becomes a target, it ceases to be a good measure."(当指标变成目标时,它就不再是好指标。)

四类常见度量:

类型代表指标陷阱
进度用例执行率、缺陷完成率追进度导致草率结论
质量缺陷密度、逃逸率数字操纵、bug 定义模糊
覆盖语句/分支覆盖率Goodhart 陷阱
效率用例执行速度、自动化率追速度牺牲质量

覆盖率的 Goodhart 陷阱是最经典的例子。团队定 80% 覆盖率强制门槛,工程师为了达标写这样的测试:

def test_process_order():
process_order(order)
# 没有 assert

代码跑到了,覆盖率上去了,什么都没测到。类似地,"如果 x > 0" 的分支只测 x = 1,边界值 x = 0 不测——分支覆盖率 100%,边界 bug 没抓到。

覆盖率的正确用法是当作发现盲区的工具,而不是当作合格线:定期看覆盖率低的模块,问"这里为什么没测",找出被遗忘的角落。至于"多少算够",工业经验是关键路径 80–90%、次要路径 50–70%、生成的代码可以完全不测。见 动态测试:白盒测试 的详细讨论。

缺陷数与质量的悖论:

"上线前发现 500 个 bug 的团队"和"上线前发现 50 个 bug 的团队"——哪个质量好?答案取决于他们测了多深:

  • 如果 500 bug 团队测得彻底、50 bug 团队测得潦草,前者质量更好
  • 如果两个团队测同样深度,前者代码本身写得差、后者写得好

单看 bug 数量什么也说明不了。有意义的复合指标是逃逸率:上线后发现的 bug / (上线前 + 上线后 bug)。这个比率越低越好,说明测试拦住了大部分问题。但逃逸率也会被"上线后没人发现"这种情况扭曲——有些 bug 真的从未被用户碰到。

更靠谱的度量方向是目标导向而非数字导向:

  • P0 缺陷是不是都在 24 小时内修复
  • 回归测试是不是能在 30 分钟内跑完
  • 每次发版前的用例执行是不是全绿
  • 上线后一周内是不是没有 P0 事故

这些指标不容易被游戏化。

5. 测试报告​

测试报告的读者不是测试团队自己,而是决策者——项目经理、产品经理、技术总监。他们看报告要的是"能不能发布"的判断,不是"我们做了多少事"的流水账。

一份好报告的结构:

# XX 版本测试报告 (v2.3.0)

## 结论
建议 CONDITIONALLY 发布:核心功能可用,一个 P1 已知问题
将在下个补丁修复。

## 关键数据
- 用例执行:512/520 (98%)
- P0 缺陷:0
- P1 缺陷:1 未修(详见下文)
- 性能:p99 从 180ms 变为 210ms,回归 17%,可接受
- 兼容性:已覆盖前 5 大浏览器

## P1 未修详情
COUP-882: 组合优惠券叠加计算金额差 0.01
- 影响:约 0.3% 订单,客服可手工修正
- 计划:v2.3.1 修复

## 遗留风险
1. 未压测大促场景(10x 流量),存在未知
2. iOS 15 上有偶发白屏,未稳定复现

## 建议
- 上线后监控订单金额异常
- 下版本安排一次专项性能压测

坏报告只有前四行的"数据",好报告有"结论 + 数据 + 风险 + 建议"。数据的意义靠上下文解释——"通过率 98%"本身没有信息,"通过率 98%、失败的 2% 全是环境问题已排除"才有信息。

6. 测试团队组织​

三种主流组织形态:

形态 A:独立 QA 部门

产品 → 开发 → 转 QA → QA 团队测 → 反馈缺陷 → 开发修 → 再测 → 发布

优点:QA 独立、专业度高。缺点:QA 和开发割裂,信息不流通,测试成瓶颈。

形态 B:嵌入式 QA(每个功能团队 1–2 个 QA)

功能团队 = 产品 + 开发 + QA
↑
中心 QA COE 提供工具/流程/培训

当前互联网公司的主流。QA 和开发在同一个团队,天天在一起,需求评审就在场,测试从"事后关卡"变成"贯穿全程的伙伴"。

形态 C:无专职 QA(开发自测)

开发 = 写代码 + 写测试 + 上线 + On-call

Facebook 早期、GitHub、部分创业公司。极致 shift-left,靠自动化和高质量工程文化。风险大——需要极强的工程师素养、完善的自动化和监控。对绝大多数团队来说,直接跳到形态 C 是灾难。

混合形态很常见:核心业务用嵌入式 QA,工具类内部系统用开发自测,安全和性能等专项由独立小组统一支持。

测试工程师的技能路径也在变化。传统 "手工点点点" 的岗位在萎缩,两个方向在扩张:

  • SDET(Software Development Engineer in Test):写代码、写框架、搞自动化、做工具,本质是"专注于测试的工程师"
  • QA Lead / Quality Coach:制定策略、指导团队、跨团队协调,本质是"质量领域的架构师"

7. 缺陷管理 + 用例管理 + 需求 = 追溯矩阵​

真正的测试管理精髓是追溯矩阵——把需求、用例、缺陷、代码变更四者关联起来:

Requirement STORY-4521 (优惠券叠加)
├── TC-1247 (过期券) → 已自动化, PASS
├── TC-1248 (叠加满减) → 已自动化, PASS
├── TC-1249 (与礼品卡叠加) → 手工, FAIL → BUG-882
└── TC-1250 (退款处理) → 未覆盖 ⚠

有追溯矩阵你就能回答几个关键问题:

  • 需求 STORY-4521 覆盖率够吗?(看关联用例数量和执行率)
  • 缺陷 BUG-882 影响哪些需求?(反向追溯)
  • 需求变更时哪些用例要跟着改?(正向追溯)
  • 代码变更时哪些用例要跑?(这是 精准测试 的基础)

没有追溯矩阵,测试永远是"经验主义"的——老员工凭记忆知道要测什么,新员工什么都不知道。

8. 局限​

管理工具是手段不是目的。见过太多团队花半年上线 TestRail + Jira + Xray + 自己造的 dashboard,配置得漂漂亮亮,然后没人真正用,用例还是散在个人 Excel 里。工具落地失败的常见原因:

  • 工具设计过重:字段太多、流程太长,填一个 bug 单要 15 分钟
  • 管理层不用:QA 认真填了,管理层只看聊天群的口头汇报,白填
  • 和实际工作流不匹配:工具流程强制在评审前提用例,实际上评审时才知道要测什么

管理体系要跟着团队规模演化。5 个人的团队用 Notion 一个页面管所有测试事项完全够用,硬上 TestRail 是形式主义。50 个人的团队还用 Notion 就管不过来了,必须结构化。选工具的原则是"当前痛点驱动"——现在最痛的是什么,就先解决什么。

度量也一样。追求指标漂亮很容易,追求指标真实反映现状很难。指标不能替代判断——即便所有指标都绿了,产品经理和技术负责人过一遍关键路径,往往还能发现体感问题。数据是决策的输入,不是决策本身。

9. 管理在测试全景中的位置​

前面几篇讲了"怎么测",这篇讲的是"怎么让测持续"。

好的测试管理不产出耀眼的成绩——它让你在两年后还能维护同一套测试资产、让新员工三天上手、让每次发布决策都有数据支撑。这些都是"没有它感觉不到,缺了它寸步难行"的基础设施。