首页 > 热点播报 > 正文

月之暗面回应K3模型质疑强调原创架构创新与性能突破

月之暗面企业业务负责人黄震昕近日回应了外界关于K3模型是“蒸馏小模型”的猜测,明确否认了这一说法。他强调,K3性能跃升的核心源于底层原创架构创新,而非对现有模型的蒸馏复刻。

据悉,月之暗面此前发布的Kimi K3模型以2.8万亿参数规模成为全球最大的开源模型,并因其在Arena前端代码榜单登顶而引发广泛关注。针对部分业内人士对其性能突增可能源于“师承”闭源大模型的质疑,黄震昕指出K3的竞争力来自三项原创技术。

这些技术包括Kimi Delta Attention混合线性注意力机制、Attention Residuals注意力残差技术,以及首次应用于大模型训练的Moon Clip二阶优化器。据悉,Moon Clip优化器能在训练数据受限的情况下显著提升训练效率,配合其稀疏MoE架构,使得K3相较前代K2的整体扩展效率提升约2.5倍。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥1999
    荣耀X80 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥1599
    REDMI Note 17 Pro
    ·
  4. ¥2999
    REDMI K90至尊版
    ·
  5. ¥2999
    HUAWEI nova 16
    ·
  6. ¥8999
    苹果iPhone17 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥9999
    苹果iPhone17 Pro Max
    ·
  9. ¥7999
    vivo X Fold6
    ·
  10. ¥6999
    vivo X300 Ultra
    ·