微软新技术让大模型在手机上运行快5倍 更高效更低耗

【太平洋科技快讯】近日，微软亚洲研究院发布了一项名为T-MAC的新技术，旨在优化大型模型在端侧设备上的部署。这项技术凭借其高性价比，使得仅凭CPU就能实现模型的快速运行，同时大幅降低资源消耗。

T-MAC技术亮点：手机运行大模型提速4-5倍

T-MAC技术使手机、PC、树莓派等端侧设备运行大型语言模型成为可能，解决了存储和计算两大难题。

通过基于查找表(LUT)的计算范式，T-MAC技术避免了传统方法中的反量化操作，提高了推理性能，降低了乘法和加法操作的数量。

在最新高通Snapdragon X Elite芯片组的Surface AI PC上，T-MAC技术的表现超越NPU，实现了高效的模型部署。

T-MAC技术核心创新：以比特为核心的计算

T-MAC技术采用查找表(LUT)代替传统的乘累加(MAC)计算，降低了CPU上的功耗，提高了计算效率。

以比特为核心的计算方式，简化了数据结构，实现了不同精度模型的快速部署。

T-MAC技术的计算性能随着比特数的降低而线性提高，这在基于反量化的GPU和NPU中是难以实现的。

T-MAC技术优化算子实现，提升端侧设备性能

研究员们针对T-MAC技术设计了高效的数据结构和计算流程，以提升端侧设备的计算性能。

通过优化矩阵分块、权重布局和寄存器重排等方法，T-MAC技术在多种CPU平台上实现了显著的性能提升。

实验结果表明，T-MAC技术在4比特算子上相较于现有方法获得了显著加速。

微软亚洲研究院已将T-MAC技术开源，相关论文已在arXiv公开。这一创新技术的推出，有望为端侧设备运行大型模型提供更多可能性，推动行业的发展。