苹果开源FastVLM视觉语言模型 为智能穿戴设备铺路

【太平洋科技快讯】5月13日，苹果机器学习团队在GitHub上发布并开源了一款新型视觉语言模型(VLM)——FastVLM。该模型提供0.5B、1.5B和7B三个版本，基于苹果自研的MLX框架开发，并借助LLaVA代码库进行训练，专为Apple Silicon设备的端侧AI运算进行了优化。

FastVLM的核心是一个名为FastViTHD的混合视觉编码器。该编码器专为在高分辨率图像上实现高效的VLM性能而设计，其处理速度较同类模型提升3.2倍，体积却仅有3.6分之一。FastViTHD通过减少令牌输出量并显著缩短编码时间，实现了性能的飞跃。

根据技术文档显示，FastVLM在保持精度的前提下，实现了高分辨率图像处理的近实时响应，同时所需的计算量比同类模型要少得多。最小模型版本(FastVLM-0.5B)的首词元响应速度比LLaVA-OneVision-0.5B模型快85倍，视觉编码器体积缩小3.4倍。搭配Qwen2-7B大语言模型版本，使用单一图像编码器即超越Cambrian-1-8B等近期研究成果，首词元响应速度提升7.9倍。

苹果技术团队指出，基于对图像分辨率、视觉延迟、词元数量与LLM大小的综合效率分析，他们开发出了FastVLM。该模型在延迟、模型大小和准确性之间实现了最优权衡。该技术的应用场景指向苹果正在研发的智能眼镜类穿戴设备。多方信息显示，苹果计划于2027年推出对标Meta Ray-Bans的AI眼镜，同期或将发布搭载摄像头的AirPods设备。

FastVLM的本地化处理能力可有效支持此类设备脱离云端实现实时视觉交互。MLX框架允许开发者在Apple设备本地训练和运行模型，同时兼容主流AI开发语言。FastVLM的推出证实苹果正构建完整的端侧AI技术生态。