Unified Cache Manager¶
Unified Cache Manager（UCM） 通过持久化 LLM KVCache 替换冗余计算，与 vLLM 集成后，在多轮对话、 长上下文推理等多种场景下可实现 3-10 倍延迟降低。
中文站点说明
当前中文内容为 AI 自动生成的待评审样例，技术准确性以英文版本为准。后续将通过 AI Robot 在 PR 中 同步生成并评审完整中文内容。
-
Prefix Cache 前缀缓存
跨请求持久化 KVCache 并复用，避免多轮对话与共享前缀的冗余预填充。支持 DRAM、SSD、远程存储等 非 HBM 存储介质，可选 pipeline、NFS、DS3FS、Mooncake、compress 等存储后端。
-
观测能力
通过 vLLM connector 导出 Prometheus 指标，支持 Grafana 可视化，实时监控 KVCache 命中率、延迟、 吞吐量等关键性能指标。
-
Trace 模式
轻量级诊断和评估模式，记录请求跟踪信息而不执行实际 KV cache 操作，用于模拟理论命中率和验证 UCM 部署效果。