跳到主要内容

MOE并行与专家并行

前面几章讲的并行策略基本适用于所有"稠密"(dense)模型——每一层的每一个参数在每一次前向都会被激活。但有一类模型不是这样的:MoE 模型。它每次前向只用到一部分参数,因此有非常特殊的并行需求。

这一章我们先从"为什么要有 MoE"讲起,再看它带来了什么新问题,最后看这些问题怎么解决。

1. MoE 想解决什么问题​

先回想一下 Transformer 的 FFN。它长这样:Y=GeLU(XW1)W2Y = \text{GeLU}(X W_1) W_2。W1W_1 和 W2W_2 都是很大的矩阵——事实上一个 Transformer 层里 60% 以上的参数都在 FFN 里。

一个自然的问题:能不能把这个 FFN 做得更强?

最直接的做法是把 hidden size 加大,或者堆更多的层。但这两个都会同时增加参数量和每次前向的计算量——两个是等比例涨的。

MoE 想做的事情:让参数量增加、但每次前向的计算量不变。听起来矛盾,怎么做到?

思路是:把这个"大 FFN"换成"很多个小 FFN"(叫做专家),但每次前向只用其中几个。

具体来说,MoE 层里有 NN 个专家(每个是一个 FFN),和一个"路由器"(router)——一个小的线性层,为每个输入 token 输出 NN 个分数。每个 token 挑分数最高的 kk 个专家来处理自己(kk 一般是 1 或 2),最终输出是这几个专家结果的加权和。

比如说 64 个专家、top-2 路由:

  • 参数量 ≈ 64 个 FFN 的参数
  • 每个 token 的计算量 ≈ 2 个 FFN 的计算量

同样的计算成本,模型的容量放大了 32 倍。这就是 MoE 的核心红利。Mixtral 8×7B 事实上是 7B 的计算量但有 47B 的参数,DeepSeek-V3 671B 的总参数每次只激活 37B——都是这个思路的产物。

2. MoE 带来的新问题:专家怎么放​

MoE 好是好,但一算显存就头疼。64 个专家,每个专家一个 FFN,参数量爆炸。单卡放不下所有专家。

那不能像数据并行那样每张卡都放一份完整模型。怎么办?

答案是把不同专家放到不同卡上——这就是专家并行(Expert Parallelism, EP)。8 张卡的话,每张卡放 8 个专家。

这一放,问题就来了。同一个 batch 里,不同 token 会路由到不同专家。而这些专家分散在不同卡上。所以每个 token 需要跨设备被发送到自己被路由到的那张卡,算完之后再送回来。

这就是 MoE 特有的通信模式:All-to-All。上一章讲过:每个 rank 把自己的数据切成 N 份,第 i 份发给第 i 个 rank。放到 MoE 的场景里:每张卡把本地 token 按"目的专家"分成 N 组,发给对应的专家所在的卡。

一个 MoE 层的前向流程完整地跑一遍:

第一步:路由器给每个 token 打分,决定去哪些专家。

第二步:All-to-All #1。按目的地把 token 重排、发出去。

第三步:每张卡上的专家处理收到的 token——这一步就是普通 FFN。

第四步:All-to-All #2。把结果发送回原本的卡。

第五步:按 top-k 分数加权求和,得到最终输出。

反向传播对称地再来两次 All-to-All。所以一个 MoE 层,前后向加起来是 4 次 All-to-All 通信。这是 MoE 训练的通信大头。

3. 负载均衡:MoE 的头号敌人​

MoE 训练里最烦的问题,不是通信慢,而是路由不均衡。

想象一下:路由器学着学着,发现某个专家特别厉害——把大部分 token 都路由过去。这个"热门专家"所在的 GPU 计算爆炸,别的 GPU 在空转。整体吞吐被最慢的那张卡卡死。而且更糟的是,冷门专家几乎收不到 token,梯度稀疏,几乎学不到东西,越训越冷。

这是个正反馈死循环:热的越热、冷的越冷。不解决这个问题,MoE 根本训不起来。

大家想了几种办法。

辅助损失(load balance loss)​

最经典的做法:在总 loss 里加一项惩罚,鼓励负载均匀。

具体是:算一下这个 batch 里每个专家收到了多少 token(或多少分数),如果分布不均,就加惩罚。Switch Transformer 和 GShard 是这个思路的代表。这个辅助 loss 的权重要小——太大会主导训练、模型只顾均衡不顾语义。

容量约束(capacity factor)​

另一个办法:给每个专家设一个上限。假设 batch 里有 TT 个 token、NN 个专家,理论均衡是每个专家收 T/NT/N 个。我们设 capacity = c⋅T/Nc \cdot T/N(cc 是容量系数,通常 1.0-1.25)。超过容量的 token 被丢弃(或者走 residual 直连,不经过任何专家)。

这个办法从工程侧强行封住了热门专家的计算量。代价是丢掉一些 token 的信息。

Expert Choice Routing​

Google 后来提出了一个反向思路的路由方法:不是"每个 token 选 k 个专家",而是"每个专家选 top-k 个 token"。

天然负载均衡——每个专家永远拿到固定数量的 token。缺点是一个 token 可能被多个专家选中(重复计算)或没有专家选中(跳过)。

DeepSeek 的 auxiliary-loss-free 策略​

DeepSeek-V2/V3 提出了一个更漂亮的办法:给每个专家的路由分数加一个可学习的 bias。bias 不参与 gradient,而是根据当前负载手动调整——负载重的专家 bias 往下降,负载轻的 bias 往上升。这直接改变了路由结果,不用 aux loss 也能实现均衡。

4. All-to-All 的性能​

All-to-All 是 MoE 的性能瓶颈。它的通信量正比于 b⋅s⋅h⋅kb \cdot s \cdot h \cdot k,很快就能吃满机内 NVLink。跨机做 All-to-All 就更痛苦——IB 的带宽远低于 NVLink。

优化的思路主要有几条。

拓扑感知路由:尽量让 token 在机内消化。比如把"专家"和"数据"编排得机内的专家足够多样,路由结果尽量落在机内。

通信和计算重叠:把 dispatch(发送 token)和 combine(接收结果)尽量和别的算子重叠起来。

融合内核:把"选专家 - 重排 token - All-to-All - 反重排"这一串操作融合成一个高效的 kernel,减少内存访问和 kernel launch 的开销。DeepSeek 开源的 DeepEP 是目前的 SOTA 之一;微软的 Tutel、DeepSpeed-MoE 内部也有类似实现。

5. EP 怎么和别的并行组合​

EP 单独用几乎不可能——它一定要和别的策略配合。

EP × DP:几张卡组成一个"EP group"(每张卡放一部分专家);多个 EP group 复制起来做 DP。All-to-All 只在 EP group 内发生,DP 间还是普通的梯度 All-Reduce。这是最基础的组合。

EP × TP:单个专家还是太大(比如 hidden size 极大),可以在专家内部再套一层 TP。DeepSeek-V3 大量用这种配置。

EP × PP:不同 MoE 层分到不同 pipeline stage,每个 stage 内部做 EP。

EP + ZeRO:DeepSpeed-MoE 的做法——非专家部分(attention、embedding、路由器)走 DP + ZeRO,专家部分独立走 EP、不 ZeRO。这样避免专家参数被 ZeRO 反复切拼的开销。

6. 推理时的挑战​

顺便提一下 MoE 推理,它和训练不完全是一码事。

batch 小的时候利用率极低。推理 decode 阶段 batch 常常是 1,一个 token 只能激活 k 个专家(比如 2 个),剩下 62 个专家全在空转。工程上会做专家路由预测、热门专家副本等优化。

KV cache 只在 attention 部分,和 EP 没啥关系。所以推理时 attention 走一套并行、MoE 层走另一套并行是常见做法。

冷热不均在推理时更严重——因为 batch 小、路由分布方差大。有些系统会做动态专家副本(把热门专家复制多份到不同卡)。

7. 什么时候该上 MoE​

MoE 不是万能的。它的收益点很明确:想扩容量、又不想加计算。什么时候不适合?

规模小:几十亿参数的模型,MoE 带来的通信和实现复杂度不值得。

训练数据少:MoE 参数多,需要更多的数据才能训得充分。数据不够,冷门专家永远学不好。

推理场景对 latency 敏感:MoE 推理的 batch 稀疏效应、All-to-All 通信都会让 latency 变差。

反过来,如果你在训练大模型、有海量数据、想榨干每一分算力,MoE 是一个非常有力的工具。今天所有顶级开源大模型(DeepSeek、Qwen-MoE、Mixtral、GLaM)都是 MoE。