待验证50% 置信事实精确时间

各向异性现象的根源在于Transformer的自注意力机制和残差连接结构，使高频词的梯度信号主导嵌入空间整体方向

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

分散损失：破解小语言模型嵌入坍缩的关键技术

hackernewshackernews2026/7/3

相关事实

待验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因81% 相似已验证Transformer的自注意力机制能够捕捉序列中任意两个位置之间的依赖关系，无论token相距多远，注意力权重的计算代价相同77% 相似待验证推理令牌聚集现象可能与Transformer架构中的注意力熵坍缩现象存在内在关联74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/189249

API

curl https://kongchang.com/api/v1/knowledge/claims/189249

MCP

get_claim(id=189249)