首页 > 热点播报 > 正文

512KB内存跑千万级AI模型!开发者:未来咖啡机都能思考

快科技7月28日消息,乌克兰独立开发者Slava S近日发布开源项目"ESP32-AI", 在售价仅约8美元(约54元人民币)的ESP32-S3微控制器上,本地运行了参数规模达2890万的语言模型, 打破了同级别芯片此前仅能运行数十万参数模型的纪录。

ESP32-S3是物联网领域常见的高性价比微控制器,硬件资源极为有限,仅配备512KB SRAM、8MB PSRAM和16MB闪存。

大型语言模型推理时需要将所有参数载入高速内存完成矩阵运算,此前在该类芯片上的模型纪录约为26万参数,强行载入千万级模型,内存会瞬间耗尽。

为突破硬件瓶颈,Slava参考Google Gemma的“逐层嵌入”架构,对2890万参数的语言模型进行4-bit量化处理,文件大小压缩至14.9MB,并采用分层内存配置。

占用空间最大的嵌入表(约2500万参数)存放在读取速度较慢但容量更大的16MB闪存中,高速的512KB SRAM完全留给核心推理权重运算。

该模型在生成每个Token时只需从闪存调取少数几行数据,不会造成系统性能拥堵,由此达成了结构运算的最优化。

目前该项目仍属于概念验证阶段,只能生成简单短篇虚构故事,不具备通用问答、写代码或执行复杂指令的能力。

但开发者举例指出,微型AI未来可应用于特定领域的智能家电,比如一台无需联网却能精确掌握各类咖啡豆特性、研磨度和最佳冲煮水温的独立智能咖啡机。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥1999
    荣耀X80 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥1599
    REDMI Note 17 Pro
    ·
  4. ¥2999
    REDMI K90至尊版
    ·
  5. ¥2999
    HUAWEI nova 16
    ·
  6. ¥8999
    苹果iPhone17 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥9999
    苹果iPhone17 Pro Max
    ·
  9. ¥7999
    vivo X Fold6
    ·
  10. ¥6999
    vivo X300 Ultra
    ·