据悉,初创公司Tiiny AI发布了号称全球最小的AI超级计算机Tiiny AI Pocket Lab。该设备仅重300克,尺寸为14.2×8×2.53厘米,可轻松置于掌中。
尽管体积小巧,该设备能成功部署1200亿参数的模型,这在同类设备中尚属首创。它支持的大语言模型能处理博士级推理、多步骤分析和深度上下文理解任务。
该设备搭载ARMv9.2 12核CPU,通过定制异构模块提供约190 TOPS的AI算力。配备80GB LPDDR5X内存和1TB SSD存储空间,支持在本地流畅运行120B模型。
Tiiny AI采用TurboSparse稀疏激活技术和PowerInfer开源异构推理引擎两项核心技术,确保在紧凑设备上实用化120B模型。
AI Pocket Lab支持一键部署数十种主流开源模型及代理框架,无需依赖互联网或云端,支持完全离线操作。


粤公网安备 44010602000162号
网友评论