快科技2月27日消息，今天是DeepSeek开源周 第四日 ，不同于前三日早早就发出的开源项目。
今天DeepSeek公布开源项目，比平日稍微晚些，让关注者们等的稍微有点着急，包括小编在内。
但是等待的结果总是值得的，这不今天公布了两项开源内容。话不多说，转入正题。
今天DeepSeek发布了 DualPipe（双向管道并行算法）和EPLB（专家并行负载均衡器） 。
据DeepSeek介绍，DualPipe是一项在 DeepSeek-V3 技术报告中引入的双向管道等值算法，它实现了 向后和向后计算通信阶段的双向重叠 ，显著减少训练空闲时间。
同时， 流水线气泡优化 这一创新调度策略，降低传统管道并行中的“气泡”问题，有效提升硬件资源利用率。 在GitHub上，目前该算法已经获得544个Star收藏。
另外，在此谈一谈 EPLB（专家并行负载均衡器） 。
EPLB（专家并行负载均衡器）具有 动态负载均衡、分层与全局平衡结合、流量优化的特点 。
具体来看，动态负载均衡是基于 混合专家（MoE）架构 ，通过冗余专家策略复制高负载专家，并采用 启发式分配算法优化GPU间 的负载均衡；
另外在分层与全局平衡结合方面，它 既支持单个节点 的分层负载管理，也 实现跨节点 的全局负载平衡，减少GPU闲置。
此外在流量优化上， 可在平衡负载的同时， 通过调整专家分布降低节点间通信数据量，提升整体训练效率。
粤公网安备 44010602000162号
网友评论