深入探讨 DeepSpeed-TED，一种新颖的三维混合并行框架，用于训练具有大型基础模型的混合专家模型。我们讨论了内存优化、通信优化以及与现有方法的性能比较。