中国科学院李国齐研究团队近日发布「SpikingBrain-1.0」类脑大模型,该模型基于脉冲神经元构建了线性复杂度架构,相比传统Transformer架构具有显著优势。
该模型采用动态阈值脉冲化信息编码方案,将90%以上的稠密连续值矩阵乘法替换为脉冲化算子,实现高性能与低能耗的平衡。在Huggingface框架下,SpikingBrain-1.0-7B模型支持4M长度的Prefill,在手机端推理速度较Llama3.2提升4-15倍。
SpikingBrain系列模型包含7B和76B两个版本,其中76B模型通过混合线性MoE架构,使用更少激活参数即可媲美Llama2-70B等先进Transformer模型。团队还开发了面向国产GPU集群的高效训练框架和算子库,实现全流程国产化支持。
该研究探索了脉冲神经元与线性注意力模型的机制联系,为构建低功耗、高性能的类脑通用智能计算模型提供了新思路,在超长序列科学任务建模中具有显著优势。


粤公网安备 44010602000162号
网友评论