DeepSeek推出NSA：超快速长上下文训练和推理

DeepSeek宣布推出NSA，用于超快速的长上下文训练和推理。据悉，NSA是一种与硬件一致且本机可训练的稀疏注意力机制，通过针对现代硬件的优化设计，加快了推理速度并降低了预训练成本。在基准测试、长上下文任务和基于指令的推理方面表现优秀。