首页 > 热点播报 > 正文

DeepSeek第四天放出了双响炮:开源DualPipe和EPLB

快科技2月27日消息,今天是DeepSeek开源周 第四日 ,不同于前三日早早就发出的开源项目。

今天DeepSeek公布开源项目,比平日稍微晚些,让关注者们等的稍微有点着急,包括小编在内。

但是等待的结果总是值得的,这不今天公布了两项开源内容。话不多说,转入正题。

今天DeepSeek发布了 DualPipe(双向管道并行算法)和EPLB(专家并行负载均衡器) 。

据DeepSeek介绍,DualPipe是一项在 DeepSeek-V3 技术报告中引入的双向管道等值算法,它实现了 向后和向后计算通信阶段的双向重叠 ,显著减少训练空闲时间。

同时, 流水线气泡优化 这一创新调度策略,降低传统管道并行中的“气泡”问题,有效提升硬件资源利用率。 在GitHub上,目前该算法已经获得544个Star收藏。

另外,在此谈一谈 EPLB(专家并行负载均衡器) 。

EPLB(专家并行负载均衡器)具有 动态负载均衡、分层与全局平衡结合、流量优化的特点 。

具体来看,动态负载均衡是基于 混合专家(MoE)架构 ,通过冗余专家策略复制高负载专家,并采用 启发式分配算法优化GPU间 的负载均衡;

另外在分层与全局平衡结合方面,它 既支持单个节点 的分层负载管理,也 实现跨节点 的全局负载平衡,减少GPU闲置。

此外在流量优化上, 可在平衡负载的同时, 通过调整专家分布降低节点间通信数据量,提升整体训练效率。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥1699
    华为畅享90 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥5999
    苹果iPhone17
    ·
  4. ¥8999
    苹果iPhone17 Pro
    ·
  5. ¥2399
    iQOO Z11 Turbo
    ·
  6. ¥1999
    vivo Y600 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥3499
    一加Ace 6至尊版
    ·
  9. ¥1399
    荣耀X70
    ·
  10. ¥2199
    REDMI Turbo 5 Max
    ·