随着生成式 AI 技术不断进步并在各行各业中得到广泛应用,在本地 PC 和工作站上运行生成式 AI 应用的重要性越来越高。本地推理可让用户享受更低的延迟,不再依赖网络,并能够更好地保护和管理自己的本地数据。
在RTX GPU上,这些专用的AI加速器被称为Tensor Core。在运行要求极为严苛的工作和娱乐应用时,Tensor Core能够显著加速AI性能。
NVIDIA GeForce和NVIDIA RTX GPU配备专用的AI硬件加速器Tensor Core,可为在本地运行生成式AI提供强大动力。TensorRT使开发者能够得到完全优化的AI硬件体验,与在其他框架上运行应用相比,AI性能通常会翻倍!
TensorRT还能加速非常热门的生成式AI模型,比如:适用于Stable Diffusion WebUI的TensorRT扩展程序至高可将性能提升至原来的2倍,从而大幅加速 Stable Diffusion工作流!
网友评论