RockAI国内首个「非Transformer架构大模型」Yan通过网信办备案

近日,上海岩芯数智人工智能科技有限公司(以下简称RockAI)的Yan架构大模型成功通过《生成式人工智能服务管理暂行办法》备案, 这是国内首个非 Transformer 架构大模型通过备案。

Yan 模型简介

Yan架构大模型是国内首个非Transformer架构、非Attention机制的大模型。传统的Transformer架构和Attention机制对算力要求较高,而Yan架构大模型以MCSD、类脑激活机制为基础原理,大幅提升模型性能与效率,以3B参数量可达到Llama3 8B的水平,还可在CPU上运行部署。MCSD架构具有快速训练、推理能力,实现更高效的特征提取,类脑激活机制则模拟大脑中的神经元激活模式,在计算时选择性激活部分参数,减少算力冗余,更高效地解决问题。 Yan架构大模型在保证性能的同时,有效降低了对算力的依赖 。这不仅有助于提高模型的运行效率,还能降低成本,为更多企业和开发者提供了触手可及的AI解决方案。

备案通过的价值

因此,Yan架构大模型通过备案对于RockAI以及行业发展均具有重要价值。

· 为行业发展开辟新的技术路径

作为国内首个非Transformer架构、非Attention机制大模型完成网信办备案,为行业发展开辟了新的技术路径。

· 证明非 Transformer 技术路线的潜力

证明在算力受限的情况下,非Transformer架构技术路线的可行性和潜力,从而能够鼓励更多企业探索多元化的技术发展方向。

· 业内唯一一家同时拥有双机制模型

RockAI成为唯一一家非Attention机制大模型和Attention机制大模型均备案通过的厂商,彰显了其在AI技术研发方面的创新能力。

Yan 落地情况

技术突破之外,商业落地层面Yan架构大模型也取得了显著成果。依托低算力要求、本地部署、无损运行等优势,RockAI已与机器人、无人机、手机、电脑等领域的设备厂商建立深度合作,并在上述领域落地多个项目。

RockAI在大模型领域以“群体智能”的理念构建通用人工智能技术,以“让世界上每一台设备拥有自己的智能”为使命,致力于打造群体智能单元大模型,实现AI普惠。Yan架构大模型的备案通过是RockAI践行使命的重要里程碑,未来,我们期待Yan架构大模型在更多设备单元部署应用,让群体智能引领走向通用人工智能,与合作伙伴一起,领先一步开拓更加广阔的市场空间。