2月28日,国内AI明星公司DeepSeek为期五天的“开源周”告一段落。其于2月24日正式启动,计划开源5个代码库,旨在与全球开发者社区分享其在通用人工智能(AGI)领域的研究进展。
据悉,在这五天里,DeepSeek先后开源了FlashMLA、DeepEP、DeepGEMM、优化并行策略DualPipe和EPLB以及面向全数据访问的推进器3FS等多个项目。其中FlashMLA是专为英伟达Hopper GPU优化的高效MLA解码内核;DeepEP是首个用于混合专家模型(MoE)训练和推理的开源EP通信库;而DeepGEMM则提供支持给V3/R1的训练和推理。此外,还有优化并行策略DualPipe和EPLB以及面向全数据访问的推进器3FS等项目也得到了发布。
这些代码库将帮助加速GPU性能提升、改善MoE模型间沟通效率、提升大规模计算任务性能以及增强硬件资源利用率等方面,并有望促进AI技术在更广泛领域应用上取得突破。
网友评论