自注意力
序列内部每个位置与其他位置计算相似度的注意力机制，使模型在同一序列中建立全局依赖，是Transformer编码器和解码器的核心组件。
核心事实
时间轴 (近 90 天)
Transformer每个块包含自注意力层和逐位置的前馈网络，两者外围都有残差连接和层归一化。
自注意力（Self-Attention）指序列内部的每个位置都与其他位置计算相似度，从而让模型在同一序列中建立全局依赖，是Transformer编码器和解码器的核心。
分词本质上是查表与少量字符串匹配操作，复杂度与序列长度近似线性，单位成本远低于Transformer中的自注意力或矩阵乘法。
当序列长度n从2K增长到128K时，注意力计算量暴增约4000倍
研究发现幻觉表现为三类信息流失真模式：过度依赖自注意力、上下文检索弥散、信息过度挤压
缩放点积注意力公式为 Attention(Q,K,V) = softmax(QK^T/√d_k)V，除以√d_k是为防止点积在高维空间中过大导致softmax进入饱和区域
全部知识事实 (7)
自注意力机制允许模型在处理每个Token时同时看到输入序列中所有其他Token的信息，注意力矩阵计算复杂度为O(n²)
65%待验证Transformer每个块包含自注意力层和逐位置的前馈网络，两者外围都有残差连接和层归一化。
50%待验证自注意力（Self-Attention）指序列内部的每个位置都与其他位置计算相似度，从而让模型在同一序列中建立全局依赖，是Transformer编码器和解码器的核心。
50%待验证分词本质上是查表与少量字符串匹配操作，复杂度与序列长度近似线性，单位成本远低于Transformer中的自注意力或矩阵乘法。
50%待验证当序列长度n从2K增长到128K时，注意力计算量暴增约4000倍
50%待验证研究发现幻觉表现为三类信息流失真模式：过度依赖自注意力、上下文检索弥散、信息过度挤压
50%待验证缩放点积注意力公式为 Attention(Q,K,V) = softmax(QK^T/√d_k)V，除以√d_k是为防止点积在高维空间中过大导致softmax进入饱和区域
50%