DeepSeek宣布将内部推理框架DeepInfer全面开源 旨在降低大模型服务成本与能耗

DeepSeek今日宣布，将内部推理框架DeepInfer全面开源，这是其在开源大模型、TileLang编译工具及推理算子库基础上的又一重要举措。

据悉，该框架旨在优化大模型部署中的算力调度与推理效率，以降低AI服务的算力成本和电力消耗。DeepSeek希望通过分享内部经验，帮助开发者高效构建私有化及公有云部署。

基于DeepInfer，DeepSeek已实现V4.1 Flash模型的高吞吐、低延迟推理服务，未来新模型推理代码也将持续更新。