待验证50% 置信事实精确时间
CacheGraft 是一种基于 Cache-to-Cache(C2C)融合框架的检索增强生成方法,在离线阶段将语料库中的每个段落编码为大模型与小模型之间的融合 KV 缓存表示,查询时直接注入小模型,无需调用大模型。
1
来源数
50%
置信度
长期有效
时效性
2026/11/6
首次发现
来源
涉及实体
相关事实
待验证批处理(batching)是模型服务提升吞吐的核心手段,连续批处理(continuous batching)允许请求在生成过程中动态加入或退出批次,分页式 KV Cache 管理可减少显存碎片。72% 相似待验证Prompt Cache本质上是大模型推理架构中KV Cache机制的服务端延伸,缓存Transformer中每个token生成的Key和Value矩阵72% 相似已验证缓存机制在技术上通常被称为 KV Cache 或 Prompt Caching69% 相似待验证Context Caching(上下文缓存)是模型厂商提供的计费优化机制,当多次请求共享同一段长前缀时,可标记缓存断点复用已计算的 KV Cache,按更低单价计费并降低首 token 延迟。69% 相似待验证Prompt Caching 是 Anthropic API 等大模型服务商提供的机制:当请求前缀与之前请求完全一致时,服务端复用已计算的 KV Cache,命中缓存部分按输入价的 0.1 倍计费,首次写入缓存按 1.25 倍计价。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1141592API
curl https://kongchang.com/api/v1/knowledge/claims/1141592MCP
get_claim(id=1141592)