首页 > 热点播报 > 正文

腾讯发布混元Hy4 flash模型 单任务成本降至Hy4的二十之一 性价比大幅提升

腾讯混元今日发布最新语言模型Hy4 flash,总参数量为224B,激活参数仅12B,支持多模态和1M上下文长度。该模型每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。

混元团队在预训练阶段加入混合注意力、LatentMoE、Engram等架构特性,KV cache大小仅为Hy3的1/24、Hy4的1/6。后训练阶段通过自蒸馏和强化学习,使端到端任务输出长度降低50%。推理阶段采用megakernel、4bit量化、dflash等手段,解码速度超过150 tps。

Hy4 flash在综合效果上略优于更大参数的Hy4 preview,但成本显著降低。按内部评测集综合测算,单任务成本仅为Hy4 preview的1/13、Hy4的1/20。据悉,该模型已在腾讯云TokenHub、WorkBuddy、元宝等产品上线,11月30日前可限时免费使用。

网友评论

热门IT产品
  1. ¥1999
    华为畅享100 Pro Max
    ·
  2. ¥4799
    一加Ace7 Pro
    ·
  3. ¥6499
    荣耀Magic9 Pro Max
    ·
  4. ¥4199
    iQOO Neo12
    ·
  5. ¥10999
    苹果iPhone18 Pro Max
    ·
  6. ¥4499
    荣耀WIN RT2
    ·
  7. ¥5699
    一加16
    ·
  8. ¥3899
    HUAWEI nova 16 Pro
    ·
  9. ¥6999
    vivo X500 Pro Max
    ·
  10. ¥8999
    苹果iPhone17 Pro
    ·