本地跑100B大模型！Acrab发布边缘AI芯片GΞLIX 1：5nm制程加持

快科技7月23日消息， 初创企业Acrab正式发布其首款边缘AI终端SoC GΞLIX 1，该芯片基于5nm制程工艺，支持100B参数规模大模型本地运行。

硬件层面，GΞLIX 1采用异构计算架构，集成20核Arm CPU、3TFLOPS GPU、独立NPU及音视频处理引擎，AI总算力达650TOPS。 作为横向参照，高通骁龙X Elite平台的NPU算力约为45TOPS，英特尔酷睿Ultra系列的NPU在40TOPS上下。

缓存与内存子系统围绕大模型推理的高吞吐需求设计， 芯片配备8MB L1缓存，共享L2缓存带宽768GB/s，外挂256-bit位宽LPDDR5X内存，传输速率8533MT/s。 大模型推理过程中权重读取和KV Cache存取对内存带宽高度敏感，这套配置为100B模型的端侧部署提供了基础保障。

此次Acrab重点展示的是预填充阶段性能。预填充是大语言模型接收用户输入后、开始逐Token生成输出前的全量编码过程，其速率直接决定长文本输入场景下的首ToKen延迟。Acrab通过矢量硬件单元加速Transformer注意力机制计算，并对预填充路径做了针对性优化。

在官方公布的预填充性能测试中，在配备40k KV缓存和10k Token输入的Gemma 26B A4B配置下， 这款芯片跑出了1416.8 Token/s的成绩，达到苹果M4 Pro Mac Mini的7.5倍。

软件生态方面，Acrab同步推出完整软件栈及智能体参考设计，覆盖底层驱动到上层应用框架的开发链路。第一方终端设备Agent Box也一同亮相，作为GΞLIX 1的参考实现供开发者评估和原型验证。