美团开源首发 INT8 无损满血版 DeepSeek R1 部署 A100 实现 50% 吞吐提升

据悉，美团搜推机器学习团队最新发布了INT8无损满血版DeepSeek R1模型。该模型通过量化实现了对原生版本的基本无损，并可以在A100 GPU上进行部署。测试结果显示，相比BF16，在A100上使用INT8量化能够获得50%的吞吐提升。该模型已经发布到Hugging Face社区供用户使用。