DeepSeek开源V3.2-Exp实验版本 引入新型稀疏注意力机制DSA

据悉，DeepSeek在假期前夕开源了V3.2-Exp实验版本。该版本作为下一代架构的过渡，在V3.1-Terminus基础上引入了新型稀疏注意力机制DSA。

DSA机制旨在优化长上下文场景下的训练和推理效率，首次实现了细粒度稀疏注意力。测试显示，该机制在保持模型输出质量的同时显著提升了长文本处理效率。

据悉，DeepSeek对V3.2-Exp和V3.1-Terminus进行了对比测试，结果显示两者在各领域基准测试中表现相当。更多技术细节可在huggingface平台查阅。