待验证50% 置信事实精确时间
潜在缓存技术源于大语言模型中的KV Cache机制，Mistral将其从推理阶段迁移至训练阶段
1
来源数
50%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
待验证潜在缓存技术将LLM推理中的KV Cache思想迁移至训练阶段，对轨迹历史帧预先提取潜在表示并缓存80% 相似待验证大语言模型的内存占用由模型参数量、精度格式和推理过程中产生的KV Cache三部分共同决定72% 相似已验证推理模型的自回归生成过程严格串行，KV Cache显存占用随思考Token序列线性增长，内存带宽成为性能瓶颈70% 相似待验证模型对 schema 的遵循能力受训练数据分布影响，训练语料中高频出现的字段组合会导致模型产生幻觉字段67% 相似待验证KV Cache技术允许模型在自回归生成时复用历史token的注意力Key-Value矩阵计算结果，使长对话推理延迟从O(n²)降低至接近线性66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/536297API
curl https://kongchang.com/api/v1/knowledge/claims/536297MCP
get_claim(id=536297)