待验证50% 置信观点精确时间

推理令牌聚集现象可能与Transformer架构中的注意力熵坍缩现象存在内在关联

1

来源数

50%

置信度

长期有效

时效性

2026/7/6

首次发现

来源

GPT-5.5 Codex推理令牌聚集现象解析：性能退化的成因与应对

hackernewshackernews2026/7/4

相关事实

待验证各向异性现象的根源在于Transformer的自注意力机制和残差连接结构，使高频词的梯度信号主导嵌入空间整体方向74% 相似待验证Transformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应74% 相似待验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/123357

API

curl https://kongchang.com/api/v1/knowledge/claims/123357

MCP

get_claim(id=123357)