云AI100 Ultra云推理卡亮相 支持生成式AI和大型语言模型

【太平洋科技资讯】近日，高通公司发布了新一代云AI推理加速卡——Cloud AI100 Ultra。这款产品专为生成式AI和大型语言模型而设计，提供相当于上一代产品四倍的性能。

新款Cloud AI100 Ultra可部署的模型规模进一步扩大，单张150W的卡上可部署100B参数模型，在两张卡上则可部署高达 175B参数。不仅如此，通过高通 AI 堆栈和云AI SDK的多个Cloud AI100 Ultra支持，用户还可以支持更大的模型。

高通公司表示，新款Cloud AI100 Ultra的推出，是为了满足当前市场对高性能、高效率的云AI推理加速卡的需求。这款产品背后依托的是高通专为加速器优化的生成式AI工作负载设计的HPE ProLiant DL380a Gen11服务器。

据官方介绍，新款Cloud AI100平台在最新基准测试结果的所有加速卡中均处于领先地位。然而，具体的新Cloud AI100 Ultra的性能表现，还需等待进一步的测试和评估。

高通表示，与竞争对手相比，新款Cloud AI100 Ultra在生成式AI(包括LLMs、NLP和计算机视觉工作负载)方面，每TCO美元可提供两到五倍的性能。这一性能、定价、功率、效率、可扩展性和安全性的完美结合，使得Cloud AI 100 Ultra成为希望采用尖端AI并转变其运营的组织的理想选择，同时还能支持可持续发展目标。

总的来说，Cloud AI100 Ultra的发布将为生成式AI和大型语言模型的应用带来更强大的支持，有望推动该领域的发展。