SageMaker HyperPod 上面向大型 LLM 的分层 KV 缓存（Curvine）

摘要

AWS 发布了一篇技术博客，详细介绍了在 Amazon SageMaker HyperPod 上用于大型语言模型推理的分层 KV 缓存架构。该方案集成了 Curvine——一种分布式 NVMe 存储层，将 KV 缓存从 GPU 内存扩展至共享池。这使得多个模型副本能够以接近本地磁盘的速度复用缓存的键值数据，从而减少对昂贵大规格 GPU 实例的依赖。

为何重要

KV 缓存管理是生产环境 LLM 部署中最紧迫的瓶颈之一。随着模型规模的增长，为每个请求存储 KV 缓存所需的内存可能主导 GPU 利用率，迫使企业过度配置硬件或接受延迟劣化。AWS 的方案通过将缓存存储与 GPU 内存解耦，直接解决了这一问题，使成本效益更高的实例能够在不牺牲响应速度的前提下服务大型模型。这对于 GPU 成本占推理预算很大比例的高吞吐推理工作负载企业尤为关键。

相关工具

• SageMaker HyperPod
• Curvine

对 AI 工具/模型的影响

该架构可能重塑大型模型在生产环境中的部署方式。通过允许副本共享分布式 KV 缓存，AWS 实际上将缓存复用提升为一等优化手段——类似于数据库系统中共享内存池的工作方式。受益最大的模型是那些具有长上下文窗口和高请求并发量的模型，在这些场景中，KV 缓存淘汰和重新计算目前带来了高昂成本。该方案还为异构 GPU 集群打开了大门，使更便宜的实例能够参与推理集群而不会受限于缓存容量。

值得关注

• SageMaker HyperPod 作为大规模推理托管服务的发展动态
• Curvine 是否会在 AWS 之外被采用，用于通用分布式缓存
• 面向生产 LLM 优化的更广泛 AI 工具 格局
• AWS 排名 中推理基础设施的更新

常见问题

分层 KV 缓存解决了什么问题？ 通过将 KV 缓存扩展至共享 NVMe 存储，解决了大型 LLM 推理中大规格 GPU 实例与首 token 延迟慢之间的权衡问题。

Curvine 在此方案中用于什么？ Curvine 提供共享的分布式 NVMe 池，使 LLM 副本能够在成本效益更高的实例上以接近本地磁盘的速度复用缓存的键值数据。

该方案基于哪个 AWS 服务构建？ 分层 KV 缓存构建于 Amazon SageMaker HyperPod 之上。