首页 > 业界资讯 > 正文

Google推出最新ML模型压缩技术Learn2Compress

5月16日消息,随着深度学习技术的爆炸性发展,很多企业、开发者都发表了自己的研究论文,展示最新取得的不俗成绩。但是在实际使用时,很可能遇到模型大小方面的问题。Google近日公开了自家全新ML模型压缩技术Learn2Compress。

该技术能为开发的深度学习模型变得更为轻量化,并在移动设备上去执行。Learn2Compress将NN模型压缩为输入一个大型的TF模型,自动生成随时可用的设备模型。

对于Learn2Compress技术的本质,谷歌提了如下三点:

·通过除无意义的权重和激活来减少模型的大小;

·通过减少模型中使用的位数来提高推理速度;

·联合训练和精馏方法策略,老师网络是一个给定的模型,学生网络是被压缩的,这些模型很窄,有助于我们显著减轻计算负担,此外还能够同时训练不同规模的学生网络。

结果就是Learn2Compress效果非常好,可以更快更小地生成模型,有时甚至超过了给定的模型。

 

网友评论

三日内热门评论文章
为您推荐
  • 相关阅读
  • 业界资讯
  • 手机通讯
  • 电脑办公
  • 新奇数码
  • 软件游戏
  • 科学探索