中信建投发布Yi-Lightning 国产大模型迭代加速

据悉，中信建投研报表示，零一万物正式对外发布新旗舰模型——Yi-Lightning。

Yi-Lightning的训练过程采用MoE混合专家模型架构，并改进了单阶段训练，使用多阶段的训练模式和混合注意力机制。

该模型在保持性能接近最优的同时，减少了激活参数数量以降低训推成本并提高推理速度。

在大模型竞技场上，Yi-Lightning性能位列总榜单第6，并列数学分榜第3，在代码等其他分榜也名列前茅。