混沌工程与弹性测试:主动把系统弄坏
混沌工程(Chaos Engineering)想说的事情不复杂:分布式系统在生产环境总会出各种奇怪的故障——机器挂、网络断、DNS 抽风、依赖服务超时——与其等它自己出问题在半夜叫你起床,不如平时就故意注入这些故障,看看系统扛不扛得住。这套思路 2010 年前后从 Netflix 内部长出来,Chaos Monkey 是它的第一个工具,后来 Netflix 团队写了《Principles of Chaos Engineering》把方法论定型。
1. 混沌工程到底在测什么
先说清楚它和传统测试有啥不同。
传统测试问的是"这段代码是否按需求工作"——单元、集成、E2E 都是在检验功能正确性。混沌工程问的是完全不同的问题:"当系统的某个部件不按预期工作时,整体是否还能提供可接受的服务"—— 检验的是弹性(Resilience)。
一句话对比:
| 维度 | 传统功能测试 | 压力测试 / 性能测试 | 混沌工程 |
|---|---|---|---|
| 假设 | 依赖都正常 | 依赖都正常,只是负载高 | 依赖会随机异常 |
| 环境 | 测试环境 | 类生产环境 | 生产环境(理想情况) |
| 目标 | 功能对不对 | 能不能扛住负载 | 出问题时能不能优雅降级 |
| 输出 | Pass/Fail | 吞吐、延迟曲线 | 稳态是否保持 |
| 谁受益 | 开发/PO | 运维/架构 | SRE/on-call |
混沌工程不是"压测的加强版"。压测是持续加负载看拐点;混沌是注入具体故障(一个特定实例挂掉、一段特定链路加 500ms 延迟)看系统反应。
2. Netflix 是怎么开始搞这个的
背景是 2008 年 Netflix 迁上 AWS 之后遇到的现实问题——EC2 实例会随机挂、可用区会偶尔抽风、网络会莫名慢,这些故障单个看都是小概率,但服务规模一上来就是天天都在发生。传统架构里的"高可用"是靠冗余硬件保证的,云上冗余仍在,但故障模式变了。
Netflix 的对策直白得可爱:既然实例迟早会挂,那就让它每天都挂几个。团队写了个叫 Chaos Monkey 的服务,每个工作时间段随机选生产环境的 EC2 实例干掉。这样做的逻辑是:如果你的代码扛不住实例被干掉,那与其在半夜出事,不如让它在白天上班时间出事,工程师就在座位上,马上修。
Chaos Monkey 只是起点,后来演化出一整个 Simian Army(猿猴军团):
| 工具 | 干什么 |
|---|---|
| Chaos Monkey | 随机干掉 EC2 实例 |
| Chaos Gorilla | 随机干掉整个可用区(AZ) |
| Chaos Kong | 随机干掉整个 region |
| Latency Monkey | 给依赖服务加人为延迟 |
| Conformity Monkey | 检测不符合最佳实践的实例 |
| Doctor Monkey | 健康检查异常实例并下线 |
| Janitor Monkey | 清理未使用的资源 |
| Security Monkey | 找安全漏洞 |
| 10-18 Monkey | 找本地化和国际化问题 |
真正把方法论化的是 2015 年的 Principles of Chaos Engineering——把 Netflix 这些做法抽象成一套原则,让其他公司也能学。
3. 五条原则
原文那五条原则值得逐字理解:
1. Build a hypothesis around steady state behavior——围绕"稳态"提出假设。
先定义什么算系统在正常工作。不是看内部指标(CPU、内存),而是看用户可观测的业务指标:Netflix 用的是"每秒开始播放的视频数"(Stream Starts Per Second, SPS)。稳态假设就是:不管我注入什么故障,SPS 都不应该显著偏离基线。
2. Vary real-world events——变化要贴近真实世界。
只测"实例被 kill"太窄。真实故障还包括:网络分区、DNS 解析失败、依赖服务 5xx、依赖延迟增加、时钟漂移、磁盘满、CPU 打满、证书过期。选故障类型要看这个系统真实遇到过什么。
3. Run experiments in production——在生产环 境实验。
这条最有争议也最关键。测试环境的故障和生产环境的故障不一样——流量分布不同、数据分布不同、依赖拓扑不同。只有在生产环境注入才知道真实反应。所以工具链得能精细控制爆炸半径。
4. Automate experiments to run continuously——持续自动化。
一次成功不代表永远成功。系统在演化——今天扛得住,明天上了新版本可能就扛不住。混沌实验得像单元测试一样每天跑,回归里加进去。
5. Minimize blast radius——最小化爆炸半径。
生产环境注入故障必须能收敛。先在极小流量、极小实例集合上试,验证 blowback 可控之后再扩大。这也是混沌工程和"莽夫开火"的分水岭。
4. 一个具体实验长什么样
抽象说完了,看具体。假设我们在测一个电商系统的商品详情页(PDP),它依赖:商品服务、库存服务、价格服务、评价服务、推荐服务、Redis 缓存。
实验设计:
名称: PDP 对推荐服务不可用的降级
稳态指标: PDP P95 响应时间 < 500ms,转化率 > 3.2%
假设: 推荐服务返回 5xx 时,PDP 应在 200ms 内降级到"空推荐",
转化率下降幅度不超过 0.3%。
故障类型: 推荐服务 100% 返回 500
爆炸半径: 生产流量的 1%(华东 region 的 canary 集群)
持续时间: 15 分钟
中止条件: PDP P95 > 1s,或转化率跌破 2.5%,自动 abort
观察指标: PDP P95、转化率、错误率、下游依赖调用量
跑之前有几件事必须准备:告警得通、on-call 得在线、abort 按钮得能一键停、观测大盘得开着。
可能的结果:
- 情况 A(假设成立):PDP 切到"猜你喜欢"降级列表,P95 提升到 350ms,转化率跌 0.2%——在预期内,实验结论"降级策略工作正常"。
- 情况 B(假设不成立):PDP 大面积超时,P95 跳到 3s,转化率跌 1.5%。查代码发现降级的 fallback 路径本身也调了推荐服务——降级根本没生效。这是一个真的 bug,也正是混沌想抓的东西。
再来看几个典型故障注入的例子——
注入网络延迟:给推荐服务前面的 Envoy 加 500ms 延迟。看看 PDP 是否触发超时,超时后是否走缓存或空数据。
注入 DB 主库 down:切掉 MySQL primary,看从库切主的耗时、期间失败 的写请求数、切主后 lag 追平的时间。这个实验能验证HA 切换真的能在承诺的时间内完成——很多团队 HA 文档写得很好,但从来没验证过。
注入 cache miss:清空 Redis 一部分 key,看后端数据库能否承接冲进来的回源流量,或者 hot key 打爆 DB 的雪崩效应会不会发生。
注入 5xx 尖峰:让下游 5% 请求返回 500,看熔断器(Hystrix / Sentinel / resilience4j)是否按预期开合、fallback 是否被调用、metrics 是否上报。
这些实验加起来能把系统的弹性覆盖率逐步建立起来——每个依赖都测过它挂时业务会怎样。
5. 工具链
社区里常见的混沌工程工具:
| 工具 | 出身 | 主战场 | 特点 |
|---|---|---|---|
| Chaos Monkey | Netflix | AWS EC2 | 老祖宗,随机杀实例 |
| Simian Army | Netflix | AWS | Monkey 家族总集 |
| Chaos Mesh | PingCAP | Kubernetes | CNCF 项目,CRD 声明式 |
| Litmus | LitmusChaos / CNCF | Kubernetes | 场景库丰富,GitOps 友好 |
| Gremlin | 商业公司 | 主机、容器、K8s | SaaS,图形化,权限管理强 |
| Chaos Toolkit | 社区 | 通用 | 编排层,用 YAML/JSON 描述实验 |
| ChaosBlade | 阿里 | 主机、容器、K8s、Java | 中文文档友好,故障类型多 |
| Steadybit | 商业公司 | 主机、K8s | 强调实验编排和证据 |
| AWS FIS | AWS | AWS 云 | 官方托管,权限走 IAM |
| Azure Chaos Studio | Azure | Azure 云 | 官方托管,模板化 |
选型的三个维度:
- 注入位置:主机层(kill 进程、加延迟)、容器层(Pod chaos)、网络层(延迟/丢包/分区)、应用层(Java Agent、Sidecar)
- 控制平面:CLI、YAML、GUI、API
- 爆炸半径控制:能不能限定命名空间、标签选择、流量比例,能不能一键 abort
Kubernetes 生态里 Chaos Mesh 和 Litmus 是主流。二者都是 CNCF 项目——前者更成熟,后者场景库更丰富、GitOps 玩法更多。
6. 混沌工程和几个近亲的区别
Vs 压测:压测是"依赖都正常,只是负载高",混沌是"负载正常,依赖异常"。两者可以叠加——注入延迟的同时打压测,看系统在双重压力下的表现。压测细节在 专项测试 里的性能测试章节。
Vs 灾备演练:灾备演练是"预知的、计划好的、按剧本走的"故障切换,通常规模大(切 region)、频率低(一年一两次)、有主持人。混沌是"高频的、自动化的、小规模的"故障注入。灾备演练验证"最坏情况下能否切走",混沌验证"日常局部故障下能否不切走"。
Vs 故障注入测试(FIT):FIT 是更早期的名词,思路一致但主要用于测试环境。混沌工程强调在生产做,是 FIT 的进化版。
Vs 弹性测试(Resilience Testing):这两个词常互换。严格说弹性测试是范畴,混沌工程是方法。弹性测试还包括容量规划、降级预案演练、超时/重试配置审查等非混沌活动。
Vs 模糊测试:Fuzzing 是给"输入"随机化,混沌是给"环境"随机化。原理相通——都是用随机性挖出人想不到的边界情况。
7. 局限
依赖可观测性成熟度。没有稳定的监控和日志,混沌实验做完你根本不知道发生了什么。指标、trace、log 三件套齐全是最低门槛。没有 SLO/SLI 定义的稳态假设,实验也无从判断。所以团队想搞混沌之前,先搞 专项测试 里可靠性/可观测性那部分基础。
生产注入天然有风险。爆炸半径失控会真的影响用户。所以工具链必须支持精细 targeting、必须支持自动 abort、必须有告警联动、必须有 kill switch。而且第一次做混沌一定从测试环境开始,等 muscle memory 建立起来再逐步移到生产。
组织成熟度门槛高。混沌工程本质上是"承认线上一定会出故障",这需要 blameless post-mortem 文化。如果团队氛围是"谁出事谁背锅",那没人敢主动注入故障——因为发现了 bug 也是自己"造成"的。心态不到位,工具再好也没用。
测不出没预设的故障模式。混沌实验都是你想到的故障。真实生产的黑天鹅是你想不到的故障——比如 2017 年 AWS S3 那次由一个错字触发的全局故障。没人会预先注入"运维手滑打错命令"这种事件。混沌工程降低已知未知的风险,但对未知未知帮助有限。
成本。搭建工具链、维护实验、值班响应 abort、和产品团队协调窗口——这些都要钱和人。中小团队更常见的做法是"游戏日"(GameDay)——每季度组织一次半天的集中演练,而不是常态化持续注入。
8. 混沌工程在测试家谱里的位置
往前看,混沌工程继承了 Jim Gray 1980 年代提出的"故障注入"研究、Netflix 的高可用工程实践、Nassim Taleb 的 antifragility 思想。往后看,它已经泛化成"生产环境实验"这个更大的领域:
- Continuous Verification(持续验证):把混沌实验挂在 CI/CD 上,每次发布跑一遍
- Security Chaos Engineering:把注入对象从可用性故障换成安全事件(模拟入侵)
- ML Chaos:给模型输入注入分布漂移,测线上模型的鲁棒性
- Game Day:一天集中演练的组织实践形态
- 专项测试 里的性能测试、可靠性测试、可用性测试:混沌工程可以看作它们的现代升级
- 自动化测试:自动化混沌实验,本质上就是"自动化的弹性回归测试"
- 敏捷测试 四象限的 Q4:混沌工程是这一 格在云原生时代的主力选手
要注意混沌工程的核心不在工具,而在假设-实验-学习这套循环。工具是最容易复制的部分,文化和纪律是最难的部分——这也是为什么 Netflix 的 Chaos Monkey 开源多年,真正把混沌工程搞成体系的公司仍然是少数。