首页 > 热点播报 > 正文

字节开源MoE关键优化技术 训练成本再砍40%!内部万卡集群已部署

字节豆包大模型团队宣布开源一项针对MoE架构的关键优化技术,可将大模型训练效率提升1.7倍,成本节省40%。据悉,该技术已应用于字节的万卡集群训练并帮助节省了数百万GPU小时训练算力。

COMET计算-通信重叠技术是该优化方案中的核心创新之一,在解决跨设备通信开销问题上取得显著进展。与其他MoE优化方案相比,COMET可以直接插入现有的MoE训练框架,并支持主流大模型无需改动框架。此外,COMET还与Deepseek研发的DualPipe方案联合使用时能更大幅度压缩模型训练成本。

目前,COMET已支持多种MoE并行模式,并且核心代码已经开源给开发者使用。同时提供友好的Python API,并计划兼容Triton等编译生态。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥1699
    华为畅享90 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥5999
    苹果iPhone17
    ·
  4. ¥8999
    苹果iPhone17 Pro
    ·
  5. ¥2399
    iQOO Z11 Turbo
    ·
  6. ¥1999
    vivo Y600 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥3499
    一加Ace 6至尊版
    ·
  9. ¥1399
    荣耀X70
    ·
  10. ¥2199
    REDMI Turbo 5 Max
    ·