北京大学与DeepSeek联合开源DSpark推理加速框架 显著缓解大模型高并发推理延迟问题。

DeepSeek与北京大学联合发布了名为DSpark的大语言模型推理加速框架，旨在解决高并发生产环境中的效率瓶颈。该框架已部署于DeepSeek-V4-Flash与DeepSeek-V4-Pro的预览版服务引擎中，在同等吞吐量下，相比原有单token解码基线，可将单用户生成速度提升60%至85%。相关论文与训练代码已在GitHub开源。

推测解码技术通过轻量级小模型快速生成候选token，再由大模型并行验证，能在无损生成质量的前提下提升推理速度。然而，现有方案存在候选生成质量与验证资源占用的瓶颈。自回归式草稿模型生成延迟随候选长度线性增长，而并行式草稿模型则因无法依赖块内先前token，导致后续位置接受率衰减，造成计算资源浪费。

DSpark框架针对上述瓶颈提出了两项互补机制。在候选生成阶段，采用半自回归架构，结合并行主干网络与轻量级顺序模块，以少量自回归依赖提升了参数效率。在验证调度阶段，引入置信度调度验证机制，由硬件感知前缀调度器根据全局吞吐量最大化原则，动态为每个请求决定验证长度，优先将计算资源分配给存活概率高的token。

在离线基准测试中，DSpark在数学推理、代码生成和日常对话三类任务上的平均每轮接受长度均优于自回归草稿模型Eagle3与并行草稿模型DFlash。在实际生产部署中，DSpark在DeepSeek-V4-Flash和V4-Pro引擎上，于不同服务等级协议下均实现了显著的吞吐量提升与单用户生成速度加速，并展现出负载自适应的验证预算分配能力。据悉，DSpark、DFlash和Eagle三种草稿模型的训练代码、评估脚本及模型检查点均已开源。