字节豆包大模型团队宣布开源一项针对MoE架构的关键优化技术,可将大模型训练效率提升1.7倍,成本节省40%。据悉,该技术已应用于字节的万卡集群训练并帮助节省了数百万GPU小时训练算力。
COMET计算-通信重叠技术是该优化方案中的核心创新之一,在解决跨设备通信开销问题上取得显著进展。与其他MoE优化方案相比,COMET可以直接插入现有的MoE训练框架,并支持主流大模型无需改动框架。此外,COMET还与Deepseek研发的DualPipe方案联合使用时能更大幅度压缩模型训练成本。
目前,COMET已支持多种MoE并行模式,并且核心代码已经开源给开发者使用。同时提供友好的Python API,并计划兼容Triton等编译生态。

粤公网安备 44010602000162号
网友评论