苹果新论文揭示自研AI模型细节 指令遵循与文本总结性能超越GPT-4

【太平洋科技快讯】近日，苹果公司的一篇新论文详细介绍了其Apple Foundation Model(AFM)的两款模型：AFM-on-device和AFM-server的具体细节。AFM-on-device拥有30亿参数，可在iPhone、iPad等设备上高效运行，而AFM-server的具体参数尚未公布，从数据上可以看到在指令遵循、文本总结等方面超过了GPT-4。AFM-server的有害输出违规率为6.3%，远低于GPT-4的28.8%。在设备上，AFM的违规率为7.5%，也低于Meta训练的Llama-3-8B模型。

苹果表示，AFM模型的训练数据来源于授权的出版商数据、策划的公开或开源数据集，以及Applebot网络爬虫抓取的公开信息。公司强调，训练数据中不包含苹果用户的私人数据，以保护用户隐私。

据报道，苹果公司与多家出版商签订了价值至少5000万美元的协议，使用其新闻档案来训练模型。此外，AFM模型还使用了GitHub上的开源代码进行训练。

苹果公司使用8192片TPUv4芯片训练AFM-server模型，2048片TPUv5p芯片训练AFM-on-device模型。TPUv5p芯片的性能是TPU v4的两倍，训练速度提升了近三倍。

在电子邮件、信息和通知汇总等方面，设备上的AFM模型满意度分别为71.3%、63%和74.9%，领先于其他同类模型。这些数据显示，苹果的AFM模型在多个方面表现出色，有望为用户提供更优质的服务。