DeepSeek第二炸：开源首个用于 MoE 模型训练通信库

快科技2月25日消息，今天是DeepSeek开源周第二日，一早，DeepSeek如约就放出了开源代码库 DeepEP 王炸。

据了解，DeepEP是 首个 用于 MoE 模型训练和推理的开源 EP 通信库， 它填补了MoE模型专用通信工具的空白， 为大规模分布式AI训练和实时推理场景提供了更高效的底层支持。

在这里，简单介绍一下DeepEP的技术性能特点：

1、 高效通信架构

支持优化的全对全通信模式，实现节点内和节点间的NVLink与RDMA互联，提升数据传输效率

2、 多精度与调度优化

原生支持 FP8 低精度运算调度，降低计算资源消耗。

3、 重性能内核

据介绍，高吞吐量内核可适用于训练和推理预填充场景，最大化数据处理能力；

4、 低延迟内核

它针对推理解码场景设计，采用纯RDMA通信和自适应路由技术，减少延迟。

5、 资源控制与重叠机制

通过灵活的GPU资源控制策略，实现计算与通信过程的高效重叠，避免资源闲置。

6、 深度优化场景

针对NVLink到RDMA的非对称带宽转发场景进行专项优化，提升异构网络下的传输性能；

此外，它还支持 SM（Streaming Multiprocessors）数量动态控制 ，平衡不同任务（如训练与推理）的吞吐量需求。