首页 > 热点播报 > 正文

中国科学院发布全流程国产GPU类脑大模型 上下文处理速度提升100倍

中国科学院李国齐研究团队近日发布「SpikingBrain-1.0」类脑大模型,该模型基于脉冲神经元构建了线性复杂度架构,相比传统Transformer架构具有显著优势。

该模型采用动态阈值脉冲化信息编码方案,将90%以上的稠密连续值矩阵乘法替换为脉冲化算子,实现高性能与低能耗的平衡。在Huggingface框架下,SpikingBrain-1.0-7B模型支持4M长度的Prefill,在手机端推理速度较Llama3.2提升4-15倍。

SpikingBrain系列模型包含7B和76B两个版本,其中76B模型通过混合线性MoE架构,使用更少激活参数即可媲美Llama2-70B等先进Transformer模型。团队还开发了面向国产GPU集群的高效训练框架和算子库,实现全流程国产化支持。

该研究探索了脉冲神经元与线性注意力模型的机制联系,为构建低功耗、高性能的类脑通用智能计算模型提供了新思路,在超长序列科学任务建模中具有显著优势。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥5999
    苹果iPhone17
    ·
  2. ¥9999
    苹果iPhone17 Pro Max
    ·
  3. ¥5999
    Xiaomi 17 Pro Max
    ·
  4. ¥4699
    HUAWEI Pura 80
    ·
  5. ¥1399
    荣耀X70
    ·
  6. ¥2699
    HUAWEI nova 14
    ·
  7. ¥3399
    荣耀400 Pro
    ·
  8. ¥4399
    vivo X300
    ·
  9. ¥2799
    OPPO Reno14
    ·
  10. ¥6499
    vivo X200 Ultra
    ·