待验证50% 置信事实精确时间
vLLM 的 PagedAttention 机制把 KV cache 切分为固定 token 数（通常为 16）的 block，通过 block table 记录逻辑位置到物理块的映射。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证PagedAttention 将 KV Cache 切分为固定大小的块，按需动态分配，不同请求的块可以非连续存放77% 相似待验证KV Cache（键值缓存）用于避免自回归生成时对历史 token 的重复计算，但长上下文场景下预填充阶段需占用大量 HBM 显存带宽，拉长首 token 延迟（TTFT）72% 相似待验证vLLM引入PagedAttention技术将KV Cache分割为固定大小物理块按需分配，而llama.cpp采用预分配策略在模型加载时一次性保留完整KV Cache空间72% 相似待验证vLLM中的分层缓存体系通常称为Tiered KV Cache，可以跨越GPU HBM、CPU DRAM、NVMe SSD或远程分布式缓存等多个存储层级72% 相似已验证KV Cache通过缓存已计算的Key和Value矩阵避免重复运算，PagedAttention等进阶技术进一步优化缓存内存管理效率71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1017341API
curl https://kongchang.com/api/v1/knowledge/claims/1017341MCP
get_claim(id=1017341)