腾讯混元今日发布最新语言模型Hy4 flash,总参数量为224B,激活参数仅12B,支持多模态和1M上下文长度。该模型每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。
混元团队在预训练阶段加入混合注意力、LatentMoE、Engram等架构特性,KV cache大小仅为Hy3的1/24、Hy4的1/6。后训练阶段通过自蒸馏和强化学习,使端到端任务输出长度降低50%。推理阶段采用megakernel、4bit量化、dflash等手段,解码速度超过150 tps。
Hy4 flash在综合效果上略优于更大参数的Hy4 preview,但成本显著降低。按内部评测集综合测算,单任务成本仅为Hy4 preview的1/13、Hy4的1/20。据悉,该模型已在腾讯云TokenHub、WorkBuddy、元宝等产品上线,11月30日前可限时免费使用。


粤公网安备 44010602000162号
网友评论