DeepSeek开源第四弹 并行优化策略开源

据悉，DeepSeek宣布开源了公司内部的并行优化策略（Optimized Parallelism Strategies）。此次开源，DeepSeek分别发布了DualPipe双向管道并行算法和EPLB专家并行负载均衡器。根据DeepSeek介绍，DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法，它实现了向后和向后计算通信阶段的完全重叠，还减少了管道气泡。该算法已经获得544个Star收藏。