【太平洋科技快讯】6月30日,美团正式推出新一代万亿参数大模型LongCat-2.0,并宣布将于近期开放该模型全部核心技术开源。
该模型采用MoE架构,总参数规模1.6万亿,单Token激活参数约480亿,原生支持百万Token超长上下文输入。LongCat-2.0搭载LongCat Sparse Attention(LSA)稀疏注意力机制,处理长文本时可自动筛选核心信息,将传统平方级计算开销优化为线性级,即便面对百万长度文本,依旧具备稳定的信息检索与语义理解能力。
这款模型最特殊的地方不在于性能,而是实现训练、推理全链路全部依托国产算力集群运行,完全绕开了英伟达,全程未使用英伟达硬件,完成国产芯片与万亿级大模型完整适配,迈入全球第一梯队。
在此之前,国内已有基于国产芯片开展模型推理、微调后训练的相关方案,但从零预训练搭配全流程推理的万亿参数大模型落地尚属首次。


粤公网安备 44010602000162号
网友评论