据悉,在2025Inclusion·外滩大会上,蚂蚁与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型LLaDA-MoE。该模型通过非自回归的掩码扩散机制,首次通过原生训练的MoE在大规模语言模型中实现了与Qwen2.5相当的语言智能。
数据显示,LLaDA-MoE在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散语言模型,接近或超越了自回归模型Qwen2.5-3B-Instruct的性能。该模型仅激活1.4B参数即可实现等效3B稠密模型的性能。
据悉,蚂蚁与人大团队攻关3个月,在LLaDA-1.0基础上重写训练代码,并基于蚂蚁自研分布式框架ATorch提供EP并行等技术,在负载均衡、噪声采样漂移等核心难题上取得突破。最终采用7B-A1B的MOE架构完成约20T数据的高效训练。


粤公网安备 44010602000162号
网友评论