待验证50% 置信事实精确时间

Transformer的因果注意力掩码通过将注意力矩阵上三角部分置为负无穷，确保每个位置的预测只依赖历史信息

1

来源数

50%

置信度

长期有效

时效性

2026/7/23

首次发现

来源

Kronos金融基础模型：用AI读懂K线市场语言

相关事实

已验证Transformer的自注意力机制能够捕捉序列中任意两个位置之间的依赖关系，无论token相距多远，注意力权重的计算代价相同79% 相似待验证Transformer架构的注意力机制决定了模型只能处理当前上下文窗口内的信息76% 相似待验证Transformer注意力层存在位置偏置，模型对序列起始位置(primacy bias)和末尾位置(recency bias)的关注天然高于中间段落76% 相似待验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/600068

API

curl https://kongchang.com/api/v1/knowledge/claims/600068

MCP

get_claim(id=600068)