跳到主要内容

分布式训练概述

在讲各种并行策略之前,我们先来想一个更基础的问题:为什么需要分布式训练?

单卡训练不好吗?一台机器插一张 GPU,代码简单、没有通信、没有同步问题,多好。之所以要"分布式",一定是有什么东西单卡搞不定了——我们先把这个"搞不定"讲清楚,后面所有的策略才有意义。

1. 从一次训练迭代说起​

我们来看一次训练一次迭代到底要用多少显存。假设我们训练一个参数量为 NN 的模型,用 FP16 混合精度、Adam 优化器。这是最标准的配置。

第一部分是参数本身。每个参数是 FP16,占 2 字节,所以要 2N2N 字节。

第二部分是梯度。反向传播算出每个参数一个梯度,也是 2N2N 字节。

第三部分是优化器状态。Adam 需要给每个参数额外维护一阶矩(momentum)和二阶矩(variance),这两个东西为了数值稳定通常存 FP32,也就是各 4N4N 字节,加起来 8N8N。而且混合精度训练时优化器内部还要一份 FP32 的"master weights"用于更新,又是 4N4N。

第四部分是激活值。前向计算产生的中间结果,因为反向传播要用,得留着。这部分不好用 NN 表达,它跟 batch size bb、序列长度 ss、层数 LL 都有关,量级大约是 O(b⋅s⋅L⋅h)O(b \cdot s \cdot L \cdot h)。

我们把前三部分加起来:2N+2N+8N+4N=16N2N + 2N + 8N + 4N = 16N 字节。只是模型的静态部分就要 16 倍参数量的显存。

一个 175B 的模型呢?16×175×109≈2.816 \times 175 \times 10^9 \approx 2.8 TB。加上激活可能还要更多。

而目前最好的单卡(H200)也只有 141GB 显存。差了大概 20 倍。这就是我们必须做分布式训练的根本原因:模型放不进单卡。

顺带看出一个有意思的事:模型参数只占了整个显存开销的 1/8 左右。这是后面 ZeRO 那一类技术的直觉来源——如果我们能把"优化器状态"这个大头切一切,就能白省很多显存。

2. 有哪些维度可以切​

既然要切,那问一个自然的问题:我们有哪些东西可以切开分到不同的卡上?

答案是每一个能"切"的维度,都对应一种并行策略。我们从最好想的开始:

沿"数据"切。这是最直观的:既然一次训练要处理一批数据,那我们把这批数据分成几份,每张卡处理一份,最后把结果加起来不就行了?——这就是数据并行。

沿"层"切。想象一个 100 层的 Transformer。第一张卡放前 25 层,第二张卡放中间 25 层,以此类推。数据流水线似地一层层往后传。——这就是流水线并行。

沿"层内的矩阵"切。当一层内部的矩阵大到单卡都装不下(比如 hidden size 极大的时候),我们只能把这个矩阵本身切开分给多张卡协同算。——这就是张量并行。

沿"专家"切(MoE 特有)。MoE 模型有几十上百个专家网络,一张卡装不下,把不同专家分到不同卡。——专家并行。

沿"序列长度"切(超长文本时才需要)。当序列超长(几十万 token 起步),激活本身就爆炸,切分序列自身。——序列 / 上下文并行。

真实的大模型训练几乎都是这些策略组合起来用的。比如训一个 GPT-3,最经典的配方叫"3D 并行":机内 8 卡做张量并行、跨机做流水线并行、外层再做数据并行。之所以要组合,是因为每种策略都有各自的短板。这个我们放到后面几章慢慢讲。

3. 那大家怎么通信​

分布式训练里,各张卡之间要交换数据。数据并行要交换梯度、流水线要交换激活、张量并行要交换算子的中间结果。这些交换发生的模式,就叫集合通信原语。有几个非常常用的,我们把它们捋一遍。

Broadcast(广播):一个 rank 把数据发给所有 rank。想象一个老师把讲义复印后发给所有学生。

Reduce:所有 rank 的数据聚合(比如求和)到一个 rank 上。想象每个学生把作业交给一个课代表,课代表求和。

All-Reduce = Reduce + Broadcast:先聚合,再发给所有人。这是数据并行中最核心的操作——所有卡把自己的梯度加起来,然后每张卡都拿到求和后的结果,接着独立更新参数。

那 All-Reduce 具体怎么实现?最容易想到的是"星形":每张卡把梯度发给某一个中心节点,中心节点求和后广播。这种做法叫Parameter Server(参数服务器)。它简单,但中心节点是瓶颈——所有卡都要跟它通信,带宽被吃满。

一个更聪明的做法叫 Ring All-Reduce:把所有 rank 排成一个环。整个过程分两步,Reduce-Scatter(每个 rank 收集自己负责那部分的求和结果)和 All-Gather(把各自的部分拼回完整的东西)。数学上可以证明,Ring All-Reduce 的通信量约为 2M2M(MM 是数据大小),基本与卡数无关。这是为什么 Ring All-Reduce 成了现代分布式训练的默认选项。

顺便说一下上面提到的两个"半步":

  • Reduce-Scatter:所有 rank 的数据求和之后,按块分给不同 rank,每个 rank 只拿到一块。这个后面 ZeRO 会大量用到。
  • All-Gather:反过来,每个 rank 有一小块数据,通信一轮之后每个 rank 都拿到完整的数据。FSDP 就靠它在需要的时候把切出去的参数临时拼回来。

还有一个比较特殊的:All-to-All。每个 rank 把自己的数据切成 N 份,第 i 份发给第 i 个 rank。这个是 MoE 的核心通信——因为路由的结果就是"我这里的 token 要发给你那里的专家"。

通信库主要看你用什么硬件。NVIDIA GPU 上首选 NCCL,它会自动利用 NVLink、NVSwitch、InfiniBand 走最快的路径;华为昇腾对应的是 HCCL;CPU 上是 Gloo 或 MPI。这些库不用你自己实现原语,直接调 API 就行。

4. 同步还是异步​

最后一个基础问题:所有卡算完各自的梯度之后,是必须都等到再一起更新,还是谁算完谁更新?

同步更新:全部等齐,然后 All-Reduce,然后一起 step。好处是数学上等价于用一个大 batch 训练,收敛性有理论保证。坏处是有个"木桶效应"——最慢的那张卡卡住所有人。工程上大家会花很多心思去消除慢节点,比如动态负载均衡、掉线检测。但只要没有出严重问题,同步是主流。

异步更新:谁先算完谁就去更新参数服务器上的参数,不等别人。吞吐量能压榨到极限,但更新的时候用的可能已经是"旧参数算出来的旧梯度",收敛不稳定。大模型训练里几乎不用了。

所以后面章节讲的所有东西,默认都是"同步"。

5. 该用哪种并行——直觉版​

在深入每一种之前,先给一个模糊但实用的直觉:

  • 模型能装进单卡,只是数据多:不用想复杂的,DDP 就够。
  • 模型稍大装不下:先试 ZeRO 或 FSDP,把优化器状态和参数切一切,通常单机就能训 10B 内的模型。
  • 单层就装不下(比如权重矩阵本身超大):必须上张量并行。
  • 层数太多、跨机训练:加流水线并行。
  • 千亿级别:老老实实上 3D 并行——张量并行 × 流水线并行 × 数据并行。
  • MoE 模型:再加一个专家并行。
  • 上下文超长:再加序列或上下文并行。

后面每一章我们就把这些一个个拆开讲:先说它想解决什么、朴素做法为什么不行、真正的做法怎么想出来的、通信开销是什么。理解了这些,你看任何一个大模型训练的配置,就不再是猜数字了。