DeepSeek全面开源推理框架，AI算力成本大降

【太平洋科技快讯】10 月 20 日，DeepSeek 宣布将内部推理框架 DeepInfer 全面开源。该框架已经支撑 DeepSeek V4.1 Flash 实现高吞吐、低延迟的大规模推理业务，后续 DeepSeek 新模型的推理代码以及性能迭代优化，也将在该开源项目持续更新。

官方表示，大模型的能力上限由模型本体决定，但想要以可控成本承接大规模 AI 服务，推理框架这一中间层扮演关键角色。训练完成模型，而推理让模型能力落地可用。面对海量用户请求，推理框架承担算力集群调度工作，其运行效率直接影响 AI 服务的算力开销与能耗水平。

在此之前，DeepSeek 已经开源过一系列大模型、TileLang 编译工具以及推理算子库，此次继续开源内部推理框架 DeepInfer，希望把自身大规模部署的实践经验对外共享，帮助开发者与企业改善推理吞吐与延迟表现，更好完成私有部署与公有云部署，降低算力成本、减少能源消耗，推动大模型技术普惠，同时也将持续支持社区开展大规模部署优化工作。

据介绍，DeepInfer 推理框架集成高性能算子与深度优化推理引擎，具备分布式推理、推测解码、SWA Bounded Replay、结构化输出等功能，可兼容英伟达、华为昇腾硬件平台。

除推理框架之外，deepseek-recipe 生产级 Token 编解码组件同步开源，组件逻辑与 DeepSeek 官方 API 保持对齐，让社区开发者可以获得和官方一致的 API 使用体验。