新的LLM极限压缩方法将AI部署成本降低8倍

据悉，Yandex Research、IST Austria（奥地利科学技术研究所）、Neural Magic和KAUST开发并开源了两种大型语言模型（LLM）压缩方法，AQLM和PV-Tuning。这些方法可以将模型大小减少多达8倍，并同时保留95%的响应质量。通过使用这些新方法，设备成本最多可降低8倍，从而显著降低了AI部署的门槛。