模型分布式训练和并行计算

📄️ MOE并行与Deepspeed

MOE并行（专家混合并行）是一种专门针对MoE（Mixture of Experts）模型架构的并行策略，而DeepSpeed是一个通用的深度学习优化库，它通过集成各种并行技术（包括对MOE的专家并行支持）来加速大型模型的训练和推理。

数据并行

张量并行