待验证50% 置信事实精确时间

MLP层充当模型的长期事实记忆库，其键值对是预训练阶段固化在权重中的静态参数

1

来源数

50%

置信度

长期有效

时效性

2026/8/8

首次发现

来源

Transformer如何思考与存储事实：机制可解释性详解

相关事实

已验证微调是在通用预训练模型基础上用特定领域数据进行二次训练，使模型能将领域知识内化为参数，推理时无需额外检索步骤，延迟更低75% 相似待验证上下文图谱为智能体提供了介于临时上下文和模型权重微调之间的中间层记忆机制，可在不改变底层模型的前提下持续积累经验73% 相似待验证在指令微调阶段，如果训练数据包含大量遵循MECE结构的案例，模型会习得先搭框架再填细节的输出范式72% 相似已验证当模型训练数据包含评测集题目或高度相似内容时，模型可能通过记忆而非真正理解获得高分72% 相似待验证潜在缓存技术将LLM推理中的KV Cache思想迁移至训练阶段，对轨迹历史帧预先提取潜在表示并缓存71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/705785

API

curl https://kongchang.com/api/v1/knowledge/claims/705785

MCP

get_claim(id=705785)