待验证50% 置信事实精确时间

REMORY 训练时使用 KL 散度衡量冻结 LLM 看到完整历史与看到摘要加残差 Token 时的输出分布差异

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

REMORY：32个残差Token如何压缩8K对话上下文

涉及实体

REMORYconcept KL散度concept

相关事实

待验证LLM训练过程中存在记忆化（memorization）现象，模型可能逐字存储训练数据片段并在推理时再现75% 相似待验证潜在缓存技术将LLM推理中的KV Cache思想迁移至训练阶段，对轨迹历史帧预先提取潜在表示并缓存74% 相似待验证MLP层充当模型的长期事实记忆库，其键值对是预训练阶段固化在权重中的静态参数66% 相似已验证LLM的记忆依赖于上下文窗口，即模型在单次推理时能够处理的最大Token数量65% 相似待验证潜在缓存技术源于大语言模型中的KV Cache机制，Mistral将其从推理阶段迁移至训练阶段65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/998482

API

curl https://kongchang.com/api/v1/knowledge/claims/998482

MCP

get_claim(id=998482)