首页 > 热点播报 > 正文

150 tokens/s!NVIDIA为谷歌DiffusionGemma提供首日支持:RTX/DGX全系可用

快科技6月11日消息, NVIDIA宣布为谷歌DeepMind最新发布的开放模型DiffusionGemma提供首日支持,覆盖GeForce RTX GPU、RTX PRO平台和DGX系统全系列。

DiffusionGemma基于Gemma 4架构,总参数25.2亿,推理时仅激活3.8亿参数,支持256K上下文长度,并针对NVIDIA硬件深度优化。。

与传统自回归模型逐个生成token不同,它采用文本扩散架构,每步可并行去噪256个tokens, 在NVIDIA GPU上速度提升约4倍。

性能方面,NVIDIA通过Tensor Core架构和CUDA软件栈实现了无需额外调优即可获得优异性能。单块H100 GPU可达每秒1000 token,在DGX Spark上达150 tokens/s。

该模型支持BF16/NVFP4精度格式,开发者可通过Hugging Face Transformers在RTX 5090或DGX Spark上快速原型验证,生产环境可使用vLLM进行部署。

该模型采用Apache 2.0许可证开源,支持文本与图像多模态输入, 支持完全运行于本地RTX或DGX平台,无需联网、无需按token付费。

目前已在Hugging Face Transformers、vLLM、Unsloth等框架中获得初始支持。

对于Windows开发者,RTX 5090用户可立即下载体验;专业级用户则可选用RTX PRO 6000工作站或DGX Station完成大规模部署和微调任务。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥2999
    HUAWEI nova 16
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥3599
    vivo S60
    ·
  4. ¥5999
    苹果iPhone17
    ·
  5. ¥3499
    OPPO Reno16
    ·
  6. ¥3899
    荣耀600 Pro
    ·
  7. ¥9999
    苹果iPhone17 Pro Max
    ·
  8. ¥3599
    荣耀500 Pro
    ·
  9. ¥2399
    iQOO Z11 Turbo
    ·
  10. ¥2599
    REDMI K90
    ·