MOE并行与Deepspeed
MOE并行（专家混合并行）是一种专门针对MoE（Mixture of Experts）模型架构的并行策略，而DeepSpeed是一个通用的深度学习优化库，它通过集成各种并行技术（包括对MOE的专家并行支持）来加速大型模型的训练和推理。
1. MOE并行简介
MoE模型的核心思想是用多个“专家”（experts）网络取代传统前馈网络中的一个大网络。在训练时，一个路由网络（router）会为每个输入令牌（token）选择最相关的个专家进行处理。为了高效地训练或推理巨大的MoE模型，需要将这些专家分布在不同的设备上，这就是MoE并行，也称为专家并行（Expert Parallelism, EP）。
MOE并行的关键点包括：
- 专家分布：将不同的专家放置到不同的GPU上。
- 通信需求：在每个MoE层，路由器需要将令牌激活发送给对应的专家所在设备，并在计算完成后收集结果。这会产生额外的“all-to-all”通信开销，需要高效的通信调度来优化。
- 与其他并行结合：专家并行通常需要与其他并行策略结合使用，例如数据并行（DP）、张量并行（TP）和流水线并行（PP），以进一步扩展模型规模和提高训练效率。