借助TensorRT-LLM,Google全新开放语言模型可在NVIDIA AI平台(包括本地 RTX AI PC)上加速运行
2024年2月21日,NVIDIA携手Google在所有NVIDIA AI平台上发布面向Gemma的优化功能,Gemma是Google最先进的新型轻量级2B和 7B开放语言模型,可在任何地方运行,从而降低成本并加快特定领域用户案例的创新工作。
NVIDIA 和 Google的团队紧密合作,利用NVIDIA TensorRT-LLM(用于优化大语言模型推理性能的开源库),在数据中心的NVIDIA GPU、云计算和搭载NVIDIA RTX GPU 的PC上运行时,加速Gemma性能(Gemma由创建 Gemini 模型的相同研究和技术构建)。
这使开发者能将全球高性能 AI PC中超过1亿台搭载NVIDIA RTX GPU的用户作为潜在用户进行开发。
网友评论