近日,在2024世界移动通信大会(MWC 2024)期间,慧鲤科技与联发科技再次联袂推出生成式AI在端侧的创新应用。基于联发科技天玑 9300 集成的新一代 AI 处理器和慧鲤科技LoRA 融合的技术整合,用户在端侧设备上录制影像时,可以实时生成不同动画风格的视频。这也是业内首个基于LoRA融合技术在端侧实时生成视频的应用,为端侧生成式AI落地进一步刷新了应用边界。
端侧处理,秒速生成,慧鲤 LoR A 融合技术实时生成趣味视频
作为联发科技在生成式AI技术领域的重要合作伙伴,慧鲤科技结合联发科技生成式AI模型端侧“技能扩充”技术NeuroPilot Fusion,在基础模型上持续扩展AI应用和功能,并于移动终端装置成功实现多种风格化视频的实时生成能力,开辟出一系列手机AI应用新玩法。
在风格化基础模型以及风格LoRA模型训练过程中,慧鲤通过一致性蒸馏算法大幅减少了扩散模型的运行步数,并依托联发科技NeuroPilot框架,以无分类器指导蒸馏进一步降低扩散模型的单步耗时。在保证输出质量的同时,慧鲤实现了手机端接近1帧/s在线风格化生成效果,使生成体验更加自然流畅。
网友评论