跳到主要内容

多维混合并行与自动并行

前面几章我们一个一个地讲了数据并行、张量并行、流水线并行、专家并行。每一种都有自己适合的场景,也有自己的短板。到了真的要训一个千亿模型的时候,没有哪一种单独够用——只能把它们组合起来。

这一章我们先看这些组合是怎么搭出来的,为什么大家最后收敛到"3D 并行"这个方案;然后再看一个更进一步的问题:能不能让机器自己决定怎么组合,而不是靠人手工设计?

1. 先从 3D 并行说起​

我们先复习一下三种并行策略各自的通信特点:

  • 张量并行(TP):通信频率极高,每一层要 All-Reduce 全部激活。必须走 NVLink。
  • 流水线并行(PP):通信频率低,相邻 stage 之间只传激活。跨机可以接受。
  • 数据并行(DP):反向后 All-Reduce 梯度,一次的通信量大但可以和反向计算重叠,跨机也不错。

看到这三个特点,你会发现它们和硬件拓扑的匹配几乎是天然的:

  • 机内 8 卡(NVLink 域):适合放通信最猛的 TP。TP 度数就设成 8。
  • 跨机(IB / RoCE):适合放通信稀疏的 PP。跨几台机,PP 就切成几段。
  • 多组"机器阵列":最外层再复制成 DP。

假设我们有 512 张 GPU、每机 8 卡(64 台机)。经典的 3D 并行配置就是:

  • TP = 8(每机一组)
  • PP = 8(跨 8 台机做流水线)
  • DP = 8(有 8 组"TP × PP 的模型副本",每组用 64 张卡,一共 8×64=512)

这样每一层的通信都发生在带宽最匹配的域里。TP 的高频 All-Reduce 走 NVLink(900GB/s),PP 的点对点走 IB(50GB/s),DP 的 All-Reduce 可以和反向计算重叠掉。

这就是 3D 并行的基本形态。从 Megatron 论文以来,几乎所有公开的千亿级大模型训练都是这个套路。

2. 再叠一层 ZeRO​

3D 并行搭起来之后,还有优化空间吗?有——DP 那一层的优化器状态依然是每个副本一份,冗余的。

在 DP 上叠加 ZeRO-1(切分优化器状态)——通信几乎不增加,白省 4 倍显存。这个基本是免费的午餐。

要不要叠 ZeRO-2、ZeRO-3?

ZeRO-2(切梯度):可以叠,但需要小心 PP 和 ZeRO-2 的 Reduce-Scatter 时机的协调。

ZeRO-3(切参数):通信 pattern 变得极复杂,PP + ZeRO-3 工程上很少见。工业界的共识是PP 已经在切参数了,没必要再切。

所以典型的最终配方是 3D 并行 + ZeRO-1。

3. 加上 SP 和 CP:5D 并行​

模型再大、上下文再长,就该请出 SP 和 CP 了。

SP(Sequence Parallelism):在 TP 域内,把 LayerNorm、Dropout 这些逐元素算子沿序列切分,省激活显存。通信量和 TP 一样(只是把 All-Reduce 拆开),几乎白送——默认开启。

CP(Context Parallelism):跨 GPU 切分序列本身,用来处理超长上下文(100K → 1M token 级)。它的核心是 Ring Attention——KV 在环上传,每张卡拿到 KV 后计算一段 attention 的部分和,最后拼起来。

叠加起来就是 5D 并行:DP × TP × PP × SP × CP。听起来吓人,但每一维都有清晰的物理意义、都在解决具体问题。Meta 训 Llama 3、Google 训 Gemini 都用类似的组合。

4. MoE 场景的加维​

如果是 MoE 模型,再加一个 EP(Expert Parallelism)。

具体怎么组合看模型:

  • EP × TP × DP:单个专家太大就用 TP 切它,多个专家用 EP 分卡,最外层复制成 DP。
  • EP × PP:不同 MoE 层分到不同 pipeline stage,每个 stage 内做 EP。

DeepSeek-V3 是一个非常典型的复杂配方:EP + TP + PP + DP + 自定义的 DualPipe 调度。这套配置能把训练效率推到极致,但配置文件那么多参数,调起来也是一门手艺。

5. 手工设计的痛点​

看到这里你可能会想:这套东西越搭越复杂,是不是每个模型 / 每套硬件都要重调?

答案是是的。而且改一个参数就要重新调平衡:

  • 硬件换了(比如从 A100 → H100,NVLink 变快了):并行度可能要重划。
  • 模型换了(比如加了 head 数、hidden 变了):TP 度得调整才能整除。
  • Batch 大小变了:micro-batch、MM、DP 度都要重新算。
  • 上下文长度变了:可能得引入 CP,整个内层布局要改。

工业界为此雇了专门做训练优化的团队——他们的工作就是把 MFU(Model FLOPs Utilization,模型 FLOPs 利用率)从 40% 提到 50%。听起来只提 10%,但训练一次可能就是几百万美金,10% 就是几十万。

有没有一种可能:让机器自己搜出最优配置?这就是自动并行研究的动机。

6. 自动并行怎么做​

自动并行分成几个层次。

第一层:怎么"表达"切分​

要让编译器帮你切,得先有一套语言让你表达"某个张量在哪些设备上、按什么维度切"。这就是 Sharding 抽象。

GSPMD(Google):JAX / TF 生态的方案。你用 PartitionSpec("data", "model") 声明一个张量的分片方式,剩下的通信由 XLA 编译器帮你插入。特别优雅。

DTensor(PyTorch):思路类似,是 FSDP2、PyTorch 原生 TP 的底层抽象。你不用手写通信,只声明"这个张量在这个 mesh 上按这些规则切"。

OneFlow SBP:把张量的分布式状态归纳成三种——Split(切开)、Broadcast(复制)、PartialSum(部分和)。算子的分布式实现可以从输入的 SBP 状态推导出输出的 SBP 状态、并自动插入必要的通信。

这些抽象让"表达并行策略"这件事从"手动插入几十种通信"变成"声明每个张量的分布",工程复杂度陡降。

第二层:怎么"搜"最优策略​

有了表达方式,接下来是:在这么多种可能的切分组合里,搜出最优的。

Alpa(UC Berkeley + Google, 2022)是自动并行的里程碑工作。它把整个并行搜索问题分成两层:

  • Inter-op(层间)并行:对应 PP,用动态规划搜怎么把模型切成 stage。
  • Intra-op(层内)并行:对应 TP、DP、SP,用整数线性规划(ILP)搜每一层怎么分片。

分两层是因为直接一起搜空间爆炸——分层之后每层的搜索空间都可控。Alpa 在几个基准模型上做出的策略,能达到甚至超过手工调优的性能。

Galvatron、Colossal-Auto 等后续工作在这个基础上加入了更多维度和硬件感知。

第三层:怎么"编译"高效代码​

搜出来的策略要变成实际能跑的代码。这一步需要:

  • 通信 - 计算重叠的自动调度;
  • 通信融合(把多次小通信合并成一次大通信);
  • 内核选择(比如根据 shape 选最合适的 GEMM kernel)。

XLA 的 SPMD pass、Megatron 里的 TransformerEngine 通信重叠都算这一层的工作。

7. 自动并行的现状​

理论很美,现实是什么样呢?

学术论文里:Alpa 系统在几个 benchmark 上表现漂亮,接近甚至超过手工 Megatron。

工业界大规模训练:还是以手工 Megatron / DeepSpeed 为主,只在小范围引入自动并行(比如自动选 TP 度、自动切 pipeline)。

为什么全自动没占领工业界?几个原因:

  • 最优方案依赖大量工程细节:通信重叠、算子融合、显存复用、错误恢复……全自动系统一般难以做到手工调优的水平。
  • 调试成本高:自动生成的策略如果出问题,很难 debug。手工的至少你知道每一处 All-Reduce 是干嘛的。
  • 稳定性:训练几周不断电、不 hang 是硬需求,成熟的手工方案在这方面积累深厚。

我个人的判断:未来几年局部自动化 + 手工顶层设计会是主流。全自动还需要时间。

8. 一个决策流程​

新模型 + 新硬件,我推荐这个顺序:

先看单卡装不装得下模型(含优化器状态和激活)。装得下 → DDP,收工。

装不下:先试 ZeRO-2/3 或 FSDP。这一步能覆盖 10B 以内大部分场景。

参数就装不下单卡:得开始考虑 TP。TP 度先定在等于 NVLink 域大小(一般 8)。

加 TP 还是装不下:开 PP。PP 的段数 = 你要跨的机器数。

上下文超长(几十万 token 起):加 SP,再长加 CP。

MoE 模型:加 EP。EP 度一般是专家数的因子。

上面都开了还慢:不是通信瓶颈就是计算瓶颈。前者去查通信-计算重叠、拓扑,后者去查 kernel、精度、算子融合。

最后:跑 profiling 看 MFU。40% 以上算及格,50% 以上算良好,60% 以上就是很棒了。

这一套决策虽然不是全自动,但每一步都有清晰的依据。理解了前面几章讲的原理,你自己就能推导出每一步为什么这么做。这比记一堆配置模板要有用得多。