在苹果WWDC 2026期间,LM Studio与苹果合作,成功在由四台Mac Studio组成的集群上运行了月之暗面开发的万亿参数大模型Kimi K2.6。据悉,该模型总参数规模达1万亿,采用MoE架构,激活参数为320亿,支持长上下文、多模态输入及智能体任务处理。
演示中,四台Mac Studio通过苹果的内存共享和互联技术形成集群,统一内存容量约1.5TB,满足了该前沿模型的推理需求。演示还展示了通过LM Link功能,从MacBook Neo和iPhone安全远程访问并操作该集群上运行的模型,数据与通信均在本地处理。
据悉,在类似的四台Mac Studio集群配置下,Kimi K2.6模型在特定模式下可达到约28 tokens/s的生成速度,且功耗低于传统GPU集群。这一合作展示了在消费级硬件上部署大型开源模型的潜力,并凸显了苹果生态在AI本地化部署方面的技术进展。LM Link远程访问功能已于2026年6月初更新至相关应用中,支持端到端加密连接。


粤公网安备 44010602000162号
网友评论