首页 > 热点播报 > 正文

阿里云全面升级GPU云服务:AI大模型推理性能可提升100%

快科技7月19日消息,阿里云推出全面升级的GPU云服务, 通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。

针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。

随着AI大模型的体量变大、应用变广,单GPU已难以承载推理应用的全部需求,多GPU推理时代已经到来,如何在GPU资源紧缺的当下,实现GPU高效互联,是提升多GPU推理性能的关键。

阿里云通过进一步优化底层的AI通信加速库DeepNCCL,让GPU云服务在推理场景下有更好的性能表现: 在同等硬件环境下,Token输出吞吐至少提升14%,首Token时延降低15%

网友评论

热门IT产品
  1. ¥7599
    苹果iPhoneX 64GB
    ·
  2. ¥5799
    三星S9
    ·
  3. ¥4498
    vivo NEX旗舰版
    ·
  4. ¥4999
    OPPO Find X
    ·
  5. ¥1799
    努比亚Z18mini
    ·
  6. ¥1499
    OPPO A5
    ·
  7. ¥1999
    荣耀Play(4GB RAM)
    ·
  8. ¥1598
    vivo Y85
    ·
  9. ¥3499
    坚果R1(6GB RAM)
    ·
  10. ¥3599
    一加6(8GB RAM)
    ·