Google推出最新ML模型压缩技术Learn2Compress

5月16日消息，随着深度学习技术的爆炸性发展，很多企业、开发者都发表了自己的研究论文，展示最新取得的不俗成绩。但是在实际使用时，很可能遇到模型大小方面的问题。Google近日公开了自家全新ML模型压缩技术Learn2Compress。

该技术能为开发的深度学习模型变得更为轻量化，并在移动设备上去执行。Learn2Compress将NN模型压缩为输入一个大型的TF模型，自动生成随时可用的设备模型。

对于Learn2Compress技术的本质，谷歌提了如下三点：

·通过除无意义的权重和激活来减少模型的大小；

·通过减少模型中使用的位数来提高推理速度；

·联合训练和精馏方法策略，老师网络是一个给定的模型，学生网络是被压缩的，这些模型很窄，有助于我们显著减轻计算负担，此外还能够同时训练不同规模的学生网络。

结果就是Learn2Compress效果非常好，可以更快更小地生成模型，有时甚至超过了给定的模型。