跳转至

特性与模型支持矩阵

本页面提供 UCM(Unified Cache Manager)在不同模型和推理框架间的兼容性概览。 使用此矩阵作为模型选择、部署和特性验证的兼容性参考。

图例

符号 描述
✅ 完全支持
❌ 不支持
🟡 未测试或未验证

模型支持与特性兼容性

前缀缓存支持

本节展示各个模型在支持的推理框架中的前缀缓存支持情况。 此信息作为评估需要前缀缓存的部署场景中框架兼容性的参考。

Model vLLM
(main)
vLLM-Ascend
(main)
SGLang
(main)
DeepSeek V3.2 ✅ ✅ ✅
DeepSeek R1 ✅ ✅ ✅
DeepSeek V3/3.1 ✅ ✅ ✅
DeepSeek V4 Pro ✅ ✅ ❌
DeepSeek V4 Flash ✅ ✅ ❌
Qwen3.6 ✅ ✅ ❌
Qwen3.5 ✅ ✅ ❌
Qwen3 ✅ ✅ ✅
Qwen3-MoE ✅ ✅ ✅
Qwen3-Next ✅ ✅ ❌
Qwen2.5 ✅ ✅ ✅
GLM-5.2 ✅ ✅ ❌
GLM-5.1 ✅ ✅ ❌
GLM-5 ✅ ✅ ❌
GLM-4.x ✅ ✅ ✅
MiniMax-M2.5 ✅ ✅ ✅
MiniMax-M2.7 ✅ ✅ ✅
MiniMax-M3 ❌ ❌ ❌
Kimi-K2.5 ❌ ❌ ❌

注意:表格列出了部分代表性模型。 详见 前缀缓存。

推理增强特性

本节展示推理增强特性(包括稀疏注意力、ReRoPE 和 CacheBlend)在列出的模型和框架版本中的支持情况。

Model GsaOnDevice
vLLM / vLLM-Ascend 0.11.0
ReRoPE
vLLM 0.11.0
CacheBlend
vLLM 0.9.2
DeepSeek V3.2 ✅ ✅ ✅
DeepSeek R1 ✅ ✅ ✅
DeepSeek V3/3.1 ✅ ✅ ✅
Qwen3 ✅ ✅ ✅
Qwen2.5 ✅ ✅ ✅

注意:推理增强特性(稀疏注意力、ReRoPE、CacheBlend)不在本文档范围内。

支持的计算平台与设备

本节展示当前支持的计算平台和设备。

计算平台 厂商 设备
CANN Ascend 910C, 910B
CUDA NVIDIA H100, H20, L40, L20
MUSA Mthreads S5000
MACA MetaX C500

注意:表格仅显示部分平台。

注意事项与限制

  • 本矩阵作为本页面列出的配置的兼容性参考。
  • 实际行为可能因硬件、运行时设置、后端变更和模型变体而异。
  • 本支持矩阵持续更新。有关最新信息,请参考 GitHub issues 和 pull requests。