SK海力士近日发布论文提出H3混合存储架构,该架构结合了HBM和HBF两种存储介质的优势。HBF相比HBM具有更大容量但延迟更长、耐久性更差的特点。
在架构设计上,GPU通过中介层与HBM基础芯片连接,HBM基础芯片内置控制器和延迟隐藏缓冲,再通过中介层与HBF基础芯片相连。这种设计特别适合LLM推理工作负载,尤其是采用共享预计算键值缓存的场景。
仿真测试结果显示,与传统仅使用HBM的系统相比,H3混合架构在处理海量只读数据的LLM推理任务中展现出更好的成本效益。
SK海力士近日发布论文提出H3混合存储架构,该架构结合了HBM和HBF两种存储介质的优势。HBF相比HBM具有更大容量但延迟更长、耐久性更差的特点。
在架构设计上,GPU通过中介层与HBM基础芯片连接,HBM基础芯片内置控制器和延迟隐藏缓冲,再通过中介层与HBF基础芯片相连。这种设计特别适合LLM推理工作负载,尤其是采用共享预计算键值缓存的场景。
仿真测试结果显示,与传统仅使用HBM的系统相比,H3混合架构在处理海量只读数据的LLM推理任务中展现出更好的成本效益。
热点播报 2026-02-12 11:02:49
热点播报 2026-02-12 01:32:44
热点播报 2026-02-05 10:02:56
热点播报 2026-02-01 23:02:29
热点播报 2026-01-29 17:32:37
网友评论