待验证50% 置信事实精确时间

参数记忆是在训练阶段固化进模型权重里的知识，被编码在数十亿甚至上万亿的参数当中

1

来源数

50%

置信度

长期有效

时效性

2026/9/6

首次发现

来源

拆解LLM的"记忆"机制：本质只是上下文投喂

涉及实体

参数记忆concept 神经网络concept

相关事实

待验证大语言模型在预训练阶段吸收的事实以分布式方式编码在数十亿参数中，一个事实弥散在数百乃至数千个神经元的激活模式中78% 相似待验证LLM训练过程中存在记忆化（memorization）现象，模型可能逐字存储训练数据片段并在推理时再现77% 相似待验证MLP层充当模型的长期事实记忆库，其键值对是预训练阶段固化在权重中的静态参数75% 相似待验证大语言模型的参数量从数十亿到数千亿不等，本质上是对训练数据中统计规律的压缩存储75% 相似待验证参数记忆是在训练阶段固化进模型权重的静态只读知识，训练完成后不会因对话而更新75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/865971

API

curl https://kongchang.com/api/v1/knowledge/claims/865971

MCP

get_claim(id=865971)