首页 > 热点播报 > 正文

SK海力士研发H3混合存储架构 结合HBM与HBF优势提升AI推理能效

SK海力士近日发布论文提出H3混合存储架构,该架构结合了HBM和HBF两种存储介质的优势。HBF相比HBM具有更大容量但延迟更长、耐久性更差的特点。

在架构设计上,GPU通过中介层与HBM基础芯片连接,HBM基础芯片内置控制器和延迟隐藏缓冲,再通过中介层与HBF基础芯片相连。这种设计特别适合LLM推理工作负载,尤其是采用共享预计算键值缓存的场景。

仿真测试结果显示,与传统仅使用HBM的系统相比,H3混合架构在处理海量只读数据的LLM推理任务中展现出更好的成本效益。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥1199
    iQOO Z10x
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥3599
    荣耀500 Pro
    ·
  4. ¥5999
    苹果iPhone17
    ·
  5. ¥1199
    华为畅享80
    ·
  6. ¥9999
    苹果iPhone17 Pro Max
    ·
  7. ¥1399
    荣耀X70
    ·
  8. ¥2199
    REDMI Turbo 5 Max
    ·
  9. ¥5699
    iQOO 15 Ultra
    ·
  10. ¥5299
    vivo X300 Pro
    ·