首页 > 热点播报 > 正文

蚂蚁与人大联合发布业界首个原生MoE扩散语言模型LLaDA-MoE

据悉,在2025Inclusion·外滩大会上,蚂蚁与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型LLaDA-MoE。该模型通过非自回归的掩码扩散机制,首次通过原生训练的MoE在大规模语言模型中实现了与Qwen2.5相当的语言智能。

数据显示,LLaDA-MoE在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散语言模型,接近或超越了自回归模型Qwen2.5-3B-Instruct的性能。该模型仅激活1.4B参数即可实现等效3B稠密模型的性能。

据悉,蚂蚁与人大团队攻关3个月,在LLaDA-1.0基础上重写训练代码,并基于蚂蚁自研分布式框架ATorch提供EP并行等技术,在负载均衡、噪声采样漂移等核心难题上取得突破。最终采用7B-A1B的MOE架构完成约20T数据的高效训练。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥5999
    苹果iPhone17
    ·
  2. ¥9999
    苹果iPhone17 Pro Max
    ·
  3. ¥5999
    Xiaomi 17 Pro Max
    ·
  4. ¥4699
    HUAWEI Pura 80
    ·
  5. ¥1399
    荣耀X70
    ·
  6. ¥2699
    HUAWEI nova 14
    ·
  7. ¥3399
    荣耀400 Pro
    ·
  8. ¥4399
    vivo X300
    ·
  9. ¥2799
    OPPO Reno14
    ·
  10. ¥6499
    vivo X200 Ultra
    ·