注意力机制
注意力机制是深度学习中的一种核心技术，使模型在处理序列数据时能够动态聚焦于输入中最相关的部分，而非均等对待所有信息。其核心思想是通过计算查询、键、值之间的相关性权重，实现对不同位置信息的选择性关注。广泛应用于自然语言处理、计算机视觉等领域，是Transformer架构的基础组件。
Core Facts
Timeline (last 90 days)
当序列长度n从2K增长到128K时，注意力计算量暴增约4000倍
注意力权重大的条目不一定对矩阵乘法后的输出贡献最大，权重与输出贡献是两个不同的量
论文认为将注意力矩阵当作'一袋值'从中挑选最大值是数学上错误的直觉，因为注意力矩阵是参与矩阵乘法的结构化算子
大语言模型倾向于给近期输入和高频词汇分配更多注意力权重，这种现象被称为位置偏差（recency bias）
相比RNN/LSTM架构，注意力机制可以直接建立序列中任意两个位置之间的依赖关系，能更好地处理长距离依赖问题
标准注意力的计算量随序列长度平方增长，而低秩瓶颈将变换分解为先压缩到r维再展开的两步
一篇发布于arXiv的研究（arXiv:2609.28703v1）提出了一套兼顾多层级分类与可解释性的仇恨言论检测框架，核心由DistilBERT、双向LSTM和注意力机制三个组件组成
ASR场景中教师模型通常是基于CTC或注意力机制（Attention-based Encoder-Decoder）的端到端语音识别模型
关键证据的注意力得分存在上界，而所有有效干扰项中的最大得分会随干扰项数量增加而增长
注意力计算在长序列下属于典型的内存瓶颈操作，理论 FLOPs 利用率很低但带宽几乎打满
26 more timeline events
All Facts (20)
自注意力机制通过将输入映射为Query、Key和Value三组向量，计算点积相似度后softmax归一化，再对Value加权求和生成融合全局上下文的表示
90%Verified大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限
90%Verified标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%VerifiedTransformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%Verified上下文长度与计算量呈近似平方级增长关系，受注意力机制影响
80%Verified注意力机制的计算复杂度随上下文窗口长度呈平方级增长，导致推理延迟与成本急剧上升
80%Verified注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
80%VerifiedTransformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
80%VerifiedTransformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定
80%Verified自注意力机制能够捕捉序列中任意两个位置之间的依赖关系
80%Verified自注意力权重通过Softmax函数归一化，权重总和恒为1
70%VerifiedTransformer通过自注意力机制实现了对长文本的高效建模
70%VerifiedTransformer通过自注意力机制并行处理文本序列,能够捕捉长距离依赖关系,不同于传统RNN
65%Verified自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²
65%Verified自注意力机制允许模型在处理每个Token时同时看到输入序列中所有其他Token的信息，注意力矩阵计算复杂度为O(n²)
65%Verified注意力权重作为可解释性依据存在争议，高注意力权重并不总是对应高因果影响
65%Unverified当前大模型并没有真正的持久化记忆机制，随着对话轮次增加，早期需求描述在注意力机制中的权重会逐渐衰减
85%Unverified九格网格生成策略能提升一致性，因为九个区域在去噪过程中共享同一个潜在空间的上下文信息
80%Unverified大语言模型在长文本生成中出现的话题漂移现象在学术上被称为语义漂移（Semantic Drift），根本原因在于自回归生成机制
75%Unverified随着对话轮次增加，后续内容在注意力机制中的权重上升，系统提示词的影响力被稀释，导致人格漂移现象
60%