跳到主要内容

张量并行

上一章我们讲数据并行,讲到最后有一个尴尬的情景:如果单层的权重矩阵大到一张卡都装不下呢?

这时候不管 ZeRO 怎么切都不行——因为你切完的每一份还是要拼回来算这一层的前向和反向,"拼回来"这个动作本身就 OOM 了。

那怎么办?只能把矩阵永远切着算,让每张卡只算矩阵的一部分。这就是张量并行(Tensor Parallelism, TP)。它是模型并行里最细粒度的一种,切的是算子内部。

1. 一个具体例子:切一个 GEMM​

我们先不管 Transformer 是什么,就看一个最简单的矩阵乘法:Y=XWY = XW。XX 是输入,WW 是权重矩阵。假设 WW 大得单卡装不下,怎么办?

第一种做法:把 WW 沿列切开。W=[W1,W2]W = [W_1, W_2],第一张卡放 W1W_1,第二张卡放 W2W_2。每张卡都拿到完整的 XX,各自算 XW1XW_1、XW2XW_2,最后把两块结果拼起来就是 Y=[XW1,XW2]Y = [XW_1, XW_2]。

这种切法有个特点:每张卡输出的是完整 YY 的一部分列。如果下游算子是逐元素的(比如 GeLU、ReLU),完全可以在这个"切开的 YY"上直接算,不需要拼回来。没有通信开销——这是关键。

第二种做法:把 WW 沿行切开。W=[W1;W2]TW = [W_1; W_2]^T,同时把 XX 沿列切成 X=[X1,X2]X = [X_1, X_2]。每张卡算 X1W1X_1 W_1、X2W2X_2 W_2,然后要求和才能得到最终的 YY。这一步求和就要一次 All-Reduce。

两种切法都能省显存,但通信位置不一样:列切在前面不需要通信,输出是"切开的";行切要求所有卡有相同的输入,输出是"完整的但要求和"。

Megatron 的巧妙之处,就是把这两种切法搭配着用——让通信次数降到最低。

2. Megatron 的 FFN 切法​

Transformer 的 FFN 长这样:Y=GeLU(XW1)W2Y = \text{GeLU}(X W_1) W_2。两个矩阵乘法夹着一个非线性。

我们想一下怎么切最好。

W1W_1 用列切:每张卡拿到 [XW1(i)][X W_1^{(i)}],各自的一部分列。然后 GeLU 是逐元素的,直接在切开的东西上算,不需要通信。这一步很省。

现在每张卡手里是 GeLU(XW1)\text{GeLU}(X W_1) 的一部分列。我们要用它去乘 W2W_2。

W2W_2 用行切:每张卡拿 W2W_2 的对应几行。刚好,"列切的输出"配"行切的输入"是天作之合——切开的列正好对应切开的行,每张卡各自算一个"部分和",然后 All-Reduce 求和。

整个 FFN,前向只有一次 All-Reduce(发生在最后);反向对称地也是一次 All-Reduce(在最前面)。这是 Megatron 论文里最漂亮的一段。

3. Attention 怎么切​

Attention 天然更好切——多头注意力就是天生分块的。8 个头就分给 8 张卡,每张卡完整地算自己那几个头的 QKV、softmax、注意力聚合。

各头之间在计算过程中互不干扰,直到最后要过输出投影 WOW_O——这里 WOW_O 用行切(对应"多头输出的拼接维度"),最后 All-Reduce 求和。

所以 Attention 前向也是一次 All-Reduce(发生在 WOW_O 后面),反向也是一次。

加起来看:一个 Transformer 层里 Attention + FFN,前向 2 次 All-Reduce,反向 2 次 All-Reduce。通信频率非常高——几乎每层都在 All-Reduce。

4. 为什么 TP 一定要在机内​

现在我们看通信开销的量级。每次 All-Reduce 的数据量正比于激活的大小 b⋅s⋅hb \cdot s \cdot h(batch × 序列长 × hidden)。以 GPT-3 175B 为例,h=12288h = 12288、s=2048s = 2048、b=8b = 8,激活单次大概是 400MB。一个 96 层的模型,一次前向 96 × 2 = 192 次 All-Reduce,加上反向就是 384 次。

这个通信频率完全撑不了跨机 IB。NVLink 带宽 900GB/s,跨机 IB 才 400Gbps ≈ 50GB/s,差了 20 倍。你把 TP 放到跨机之间,通信直接变成瓶颈,反而不如不切。

结论就是:TP 的度数最多等于单机 NVLink 域的 GPU 数(一般是 8)。想切更细?就必须搭配别的并行策略,把 TP 域限制在机内。这也是为什么后面讲 3D 并行时,TP 总是"最内层"的选择。

5. Sequence Parallelism:把 TP 没切到的东西也切了​

Megatron TP 切的是 Attention 和 FFN 里的权重和激活,但一个 Transformer 层还有一些没切的东西:LayerNorm、Dropout、以及各种 residual add。

这些是逐元素算子,在 TP 视角下每张卡都要有"完整的输入"才能算。所以它们的激活在每张 TP 卡上都是完整的一份——这部分显存是冗余的。

序列并行(SP)的想法很自然:这些逐元素算子的输入,沿着序列长度维度切开。第一张卡负责前 1/8 序列的 LayerNorm,第二张卡负责下一段……逐元素运算本来就不依赖上下文,切开算完全没问题。

那切开之后怎么进入 TP 区域呢?TP 区域要求输入是完整的(因为要做全矩阵乘),所以进入 TP 前做一次 All-Gather 把序列拼回来;离开 TP 区域时反过来做一次 Reduce-Scatter 再切回去。

有意思的地方来了:All-Reduce = Reduce-Scatter + All-Gather。所以 SP + TP 的通信量,跟纯 TP 是一样的——只是把"一次 All-Reduce"拆成"进入前 All-Gather + 离开时 Reduce-Scatter"两半。通信量不变,但激活显存又省了一大截(LayerNorm、Dropout 的激活切了 8 份)。

因此在真实工业配置里,开 TP 时通常默认开 SP,几乎白送。

6. 更高维的 TP:2D、2.5D、3D​

Megatron 的 1D TP 有个问题:激活没切。前向每次 All-Reduce 的通信量正比于 b⋅s⋅hb \cdot s \cdot h。当模型往超大发展,hh 变大,通信量按 hh 增长,显得越来越吃不消。

有一系列研究想把激活也切了,代表是 ColossalAI 里的 2D、2.5D、3D 张量并行。核心思路是把 pp 张卡摆成一个 p×p\sqrt{p} \times \sqrt{p} 的方阵,权重和激活都在这个方阵上切分——通信量能从 O(bsh)O(bsh) 降到 O(bsh/p)O(bsh/\sqrt{p})。

但代价是通信 pattern 变得非常复杂,实现的工程量也大得多。工业界主流还是老老实实用 Megatron 1D + SP,因为它在 8 卡 NVLink 域内已经够快、够稳。学术工作可以了解一下但不用太上心。

7. 通信和计算怎么重叠​

TP 里通信非常频繁,能不能让它和计算重叠?可以。

思路是:All-Reduce 拆成 Reduce-Scatter + All-Gather 之后,两个"半步"可以分别与前后的 GEMM 计算重叠。

比如做完一个 GEMM 之后,立刻启动 Reduce-Scatter,同时开始算后面的算子(LayerNorm 之类的);等要用完整数据时再等 All-Gather 完成。TransformerEngine、Megatron 都有这类实现,叫 communication overlap。开启 SP 之后这个优化基本是默认的。

8. 张量并行的边界​

最后总结一下 TP 的适用范围和局限。

适用:单层权重巨大、无法在一张卡上完整放下的场景。典型是 hidden size 极大的 dense 模型。

局限:

第一,通信频率高,一定要在高带宽域内。跨机做 TP 基本没用。

第二,切分度受结构约束。TP=8 要求 num_heads 和 hidden size 都能被 8 整除,模型设计的时候就要考虑这一点。

第三,只切了参数和一部分激活。KV cache、LayerNorm 的激活等还需要 SP、CP 补上。

第四,实现侵入性大。跟 DDP 那种"对用户代码几乎透明"完全不同——TP 需要在每一个算子处手工插入通信逻辑,这也是为什么 Megatron 的代码库直接给你一整套 Transformer 实现,而不是像 DDP 那样一句话包裹上。

下一章我们讲流水线并行——它解决的是完全不同的问题:层太多。