Unverified50% confidenceFactExact time
Geva等人发现MLP的第一个线性层可理解为编码输入模式的「键」，第二个线性层是编码输出分布的「值」，整个MLP层本质上是一个记忆系统
1
Sources
50%
Confidence
Long-term
Relevance
8/27/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedMLP层充当模型的长期事实记忆库，其键值对是预训练阶段固化在权重中的静态参数58% similarUnverified线性表征假说认为神经网络中的概念以线性方向（方向向量）的形式存储在激活空间中58% similarUnverifiedROME的核心洞见是Transformer模型的MLP层在事实知识存储中扮演关键角色，功能类似键值记忆库58% similarUnverifiedLLM在输出第一行代码之前，其内部注意力机制已对整体结构形成概率分布上的预期，因此往往能在第一行就给出最关键的数据结构选择57% similarUnverifiedLLM以token序列的形式感知世界，而电子表格本质上是二维或多维的关系型结构，模型必须将其展平为线性序列处理，会丢失空间关系信息57% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/809212API
curl https://kongchang.com/api/v1/knowledge/claims/809212MCP
get_claim(id=809212)