概念Multi-Head Attention / 多头自注意力
多头注意力
Transformer架构中的核心组件，通过并行运行多个注意力头从不同子空间捕获序列中的多种依赖关系，是现代大语言模型的基础构件
时间轴 (近 90 天)
10月21日
头级分数调制指在多头注意力中为每个注意力头分配独立的调制参数或函数，对注意力分数施加不同的变换，而非所有头共享同一套结构注入方式。
待验证50%
10月19日
对于多头注意力，行Softmax的平移不变性和值更新的可观测性共同作用，使得LoRA秩上界比一般情形更紧。
待验证50%
10月18日
多头注意力将query/key/value拆成多个头并行计算，每个头学习不同的关注模式，结果拼接后线性变换。
待验证50%
9月11日
Transformer原论文使用了八组并行的多头注意力机制
待验证50%
9月11日
在固定算力下，单头注意力比最优设置差0.9分，头太多质量反而会下降
待验证50%
全部知识事实 (7)
待验证
头级分数调制指在多头注意力中为每个注意力头分配独立的调制参数或函数，对注意力分数施加不同的变换，而非所有头共享同一套结构注入方式。
50%待验证对于多头注意力，行Softmax的平移不变性和值更新的可观测性共同作用，使得LoRA秩上界比一般情形更紧。
50%待验证多头注意力将query/key/value拆成多个头并行计算，每个头学习不同的关注模式，结果拼接后线性变换。
50%待验证在固定算力下，单头注意力比最优设置差0.9分，头太多质量反而会下降
50%待验证Transformer原论文使用了八组并行的多头注意力机制
50%待验证多模态技术的底层原理是将不同类型数据通过各自编码器映射到统一向量空间中，使模型能跨模态理解信息
50%待验证多头注意力允许模型同时从多个语义维度审视代码
50%