OpenAI研发高效推理方案：模型运行成本降低50%

快科技7月1日消息，据The Information，知情人士透露， OpenAI工程师本月早些时候向团队内部表示，依托多项全新研发的优化技术，已成功找到一套可将模型推理成本削减一半以上的方案。

在将该技术应用于无免费或付费账户的访客ChatGPT使用场景后，所需英伟达GPU数量一度被压缩至仅数百个，效率提升显著。

此前有消息称，OpenAI与博通联合研发的ASIC芯片项目——代号“墨西哥胡椒”。

该芯片完全针对大模型推理从零开始设计， 当专用芯片摆脱通用GPU架构的束缚后，硬件突破带来的不再是温和升级，而是实质性的重构，推理成本最高可直接降低一半。

随着头部AI厂商掌握自主算力源头，对英伟达GPU的依赖逐步减少，通用硬件的产能与定价权将不再构成制约，也意味着整个AI生态话语权正在发生转移。