训练GPT-5大模型需5万张显卡 或将使NVIDIA成场外赢家

【太平洋科技资讯】据消息称，OpenAI或许已开始训练GPT-5，但想在GPT-4的基础上取得巨大提升，还需要更多的资金投入，特别是用于训练AI的显卡供应极为稀缺。GPT-5的训练，或将使NVIDIA成为“场外赢家”。

全球有许多公司都在进行大规模AI模型的训练，但到底有多少AI显卡被使用，这仍然是一个秘密，很少有准确的公开数据。有人猜测GPT-4是在10000-25000张A100显卡上进行训练的，而GPT-5所需的显卡数量仍然是个谜。

虽然OpenAI的CEO Sam Altman之前说明还没有发布GPT-5的打算，也透露尚未开始训练GPT-5。但根据业界的猜测，许多人相信他们已经开始训练GPT-5大模型，而这一模型的规模将是GPT-4的10倍以上。

马斯克估计，训练GPT-5可能需要30000-50000张H100显卡，这种显卡相较于A100，它的效率高达3倍，但成本只有1.5-2倍。考虑到整体系统成本，H100的性能要高得多。从技术细节来说，比起A100，H100在16位推理速度大约快3.5倍，16位训练速度大约快2.3倍。的性能要强得多。

除了OpenAI之外，其他公司对高性能AI显卡的需求也非常高。Meta、谷歌、微软、苹果、特斯拉以及马斯克自己都在进行各种AI项目，预计总需求将达到43.2万张H100显卡，价值超过150亿美元。

这只是美国科技行业需求的分析结果，实际上国内的需求也不少。即使只能购买特供版的A800、H800加速卡，这并没有阻止国内公司投身于AI大模型的训练，他们不惜加价抢购AI显卡。

在当前市场上，只有NVIDIA能够满足AI显卡的需求。相比之下，AMD和Intel的AI显卡不仅在性能和生态方面存在问题，而且供应也跟不上需求。AMD的重要产品MI300X要到年底才能开始出货，并且要到2024年才能大规模上市。

总的来说，这一波AI显卡需求将使NVIDIA获利颇丰。AI显卡的需求预计将持续到2024年底，在这一年半的时间内供不应求的情况将持续存在。现在H100显卡的起价为25万元，如果加价的话涨幅波动可能会更大。