首页 > 热点播报 > 正文

内存焦虑有救了!谷歌发布新型AI内存压缩技术

快科技3月26日消息,谷歌研究院推出全新AI内存压缩技术TurboQuant,精准破解AI推理的内存瓶颈。

该技术可在不损失精度的前提下, 将大语言模型缓存内存占用至少缩减6倍,推理速度最高提升8倍。

AI模型运行时有一种“工作内存”,即KV缓存(Key-Value Cache)。每当模型处理信息、生成回答时,KV缓存便会迅速膨胀,且上下文窗口越长,缓存占用的内存越大。

这已成为制约AI系统效率与成本的核心瓶颈,并非模型不够智能,而是运行时的内存难以支撑。

TurboQuant采用向量量化的方法对缓存进行压缩,使AI在占用更少内存的同时记住更多信息,且保持准确性。 实现这一效果的关键在于两项技术:名为PolarQuant的量化方法,以及名为QJL的训练与优化手段。研究团队计划在下个月的ICLR 2026会议上正式发布相关成果。

研究团队在Gemma和Mistral等开源大模型上进行了严格的基准测试。实验数据显示,TurboQuant无需任何预训练或微调,即可将键值缓存高效压缩至3比特,在“大海捞针”等长上下文测试中实现零精度损失,内存占用降至原来的六分之一。

此外,在H100 GPU加速器上,4比特TurboQuant的运行速度较未量化的32比特基准提升了高达8倍。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥4699
    HUAWEI Mate 80
    ·
  2. ¥3599
    荣耀500 Pro
    ·
  3. ¥9999
    OPPO Find N6
    ·
  4. ¥5999
    苹果iPhone17
    ·
  5. ¥4499
    苹果iPhone17e
    ·
  6. ¥2699
    HUAWEI nova 15
    ·
  7. ¥1399
    荣耀X70
    ·
  8. ¥5299
    OPPO Find X9 Pro
    ·
  9. ¥5299
    vivo X300 Pro
    ·
  10. ¥1999
    REDMI Turbo4 Pro
    ·