首页 > 业界资讯 > 正文

华为openPangu-2.0-Pro模型正式开源上线

【太平洋科技快讯】7月31日,华为官宣,openPangu-2.0-Pro模型及技术报告正式开源上线。

据了解,开源盘古openPangu是华为开源AI大模型系列,依托昇腾原生训练与推理全链路适配,为行业提供基于昇腾硬件的落地参考方案,夯实智能Agent底层技术底座,推动AI商业化落地与开源生态完善。

此前在HDC 2026华为开发者大会上,华为常务董事、终端BG董事长余承东正式发布了开源盘古openPangu 2.0。该系列分为Flash、Pro两款模型,统一支持512K超长上下文窗口,两款模型参数规格存在区分:

openPangu-2.0-Pro总参505B、激活参数量18B

openPangu-2.0-Flash总参920B、激活参数量6B

6月30日,openPangu-2.0-Flash大模型已正式开源。

今日, openPangu-2.0-Pro模型(模型权重、基础推理代码)及技术报告也开源上线了。

openPangu-2.0-Pro为混合专家 MoE 架构大语言模型,整体参数量505B,单Token激活参数18B,训练数据集总量达34万亿Token。模型经过多轮后处理优化,融合快慢一体化监督微调、多场景专项强化学习,并借助在线蒸馏技术统一综合能力。

该模型在底层架构完成多重技术迭代:注意力模块沿用轻量化MLA方案,搭配DSA+SWA分层混合结构,层级配比1:2,分别处理局部文本窗口与全局稀疏信息,在保障输出精度前提下,大幅削减长文本推理阶段算力、显存占用;网络拓扑改用四分支mHC残差结构,增强特征表达多样性与泛化性能;新增三头MTP自投机模块,单次可并行预测3个 Token,有效提升推理吞吐;训练环节引入Muon优化器,加快模型收敛效率。

网友评论

热门IT产品
  1. ¥1699
    华为畅享90 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥5999
    苹果iPhone17
    ·
  4. ¥8999
    苹果iPhone17 Pro
    ·
  5. ¥2399
    iQOO Z11 Turbo
    ·
  6. ¥1999
    vivo Y600 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥3499
    一加Ace 6至尊版
    ·
  9. ¥1399
    荣耀X70
    ·
  10. ¥2199
    REDMI Turbo 5 Max
    ·
为您推荐
  • 相关阅读
  • 业界资讯
  • 手机通讯
  • 电脑办公
  • 新奇数码
  • 软件游戏
  • 科学探索