自注意力机制
自注意力机制是Transformer架构的核心组件，通过查询（Query）、键（Key）、值（Value）三组矩阵计算序列内各位置之间的相关性权重，使模型能够捕捉长距离依赖关系
核心事实
时间轴 (近 90 天)
标准自注意力机制中每个 token 需与序列中所有其他 token 计算相关性，计算复杂度约为序列长度的平方（O(n²)）。
完整的自注意力流水线为：输入矩阵 → Q/K/V投影 → Q×K^T → 除以√dk → Softmax → 乘以V → 上下文丰富的输出。
自注意力最终输出是通过注意力权重对Value向量进行加权求和得到的。
位置编码用于向模型注入词序信息，因为注意力机制本身不区分位置顺序
TabPFN需要将整个训练集作为上下文一次性输入Transformer，其计算复杂度随样本数呈二次方增长
Transformer 的自注意力机制可以在整个上下文窗口内任意建立 token 之间的依赖，与 gzip 的建模能力存在本质差距
自注意力机制在处理文字时会同时看到整个序列的所有词并动态计算每个词与其他词的相关权重，采用并行计算而非像早期 RNN 那样逐字顺序处理
分辨率翻倍时模型需要处理的注意力计算量往往增长至四倍甚至更高，导致耗时非线性增长
Transformer架构的自注意力机制计算复杂度为O(n²)，n从8K增长到128K时理论计算量增长256倍
Transformer架构的自注意力机制计算复杂度为O(n²)，当n从8K增长到128K时理论计算量增长256倍
还有 6 条时间轴事件
全部知识事实 (20)
Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证自注意力机制允许模型在处理每个词元时同时参考序列中所有其他词元的上下文信息，而非像RNN那样顺序处理
80%已验证Transformer每层包含多头自注意力和前馈神经网络两个核心子模块
75%已验证Transformer通过自注意力机制并行处理文本序列,能够捕捉长距离依赖关系,不同于传统RNN
65%已验证自注意力机制通过计算查询（Query）与所有键（Key）的点积相似度来决定每个位置应关注序列中哪些其他位置
65%已验证Transformer的核心创新是用自注意力机制替代RNN的时序处理方式，实现了高度并行化训练，但放弃了RNN的隐状态跨时间步传递机制
65%已验证Set Transformer基于自注意力机制建模行向量交互，通过去掉位置编码保持排列不变性
65%待验证大模型核心原理包括Transformer架构、预训练、SFT监督微调、RLHF人类反馈强化学习等关键概念
95%待验证自注意力机制通过将输入序列线性变换为Query、Key、Value三个矩阵，注意力权重由Q与K的转置相乘后经Softmax归一化得到，再与V相乘得到输出
60%待验证Transformer使用位置编码（Positional Encoding）在并行计算的同时保留词的顺序信息
60%待验证标准自注意力机制中每个 token 需与序列中所有其他 token 计算相关性，计算复杂度约为序列长度的平方（O(n²)）。
50%待验证完整的自注意力流水线为：输入矩阵 → Q/K/V投影 → Q×K^T → 除以√dk → Softmax → 乘以V → 上下文丰富的输出。
50%待验证自注意力最终输出是通过注意力权重对Value向量进行加权求和得到的。
50%待验证位置编码用于向模型注入词序信息，因为注意力机制本身不区分位置顺序
50%待验证TabPFN需要将整个训练集作为上下文一次性输入Transformer，其计算复杂度随样本数呈二次方增长
50%待验证Transformer 的自注意力机制可以在整个上下文窗口内任意建立 token 之间的依赖，与 gzip 的建模能力存在本质差距
50%待验证自注意力机制在处理文字时会同时看到整个序列的所有词并动态计算每个词与其他词的相关权重，采用并行计算而非像早期 RNN 那样逐字顺序处理
50%待验证分辨率翻倍时模型需要处理的注意力计算量往往增长至四倍甚至更高，导致耗时非线性增长
50%待验证Transformer架构的自注意力机制计算复杂度为O(n²)，n从8K增长到128K时理论计算量增长256倍
50%