待验证50% 置信事实精确时间
完整的自注意力流水线为：输入矩阵 → Q/K/V投影 → Q×K^T → 除以√dk → Softmax → 乘以V → 上下文丰富的输出。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
已验证Self-Attention的核心公式为Attention(Q,K,V) = softmax(QKᵀ/√dk)V，除以√dk是为了缓解点积值过大导致的梯度消失问题70% 相似待验证标准 Scaled Dot-Product Attention 中 Q 与 K 做矩阵乘法得到 n×n 注意力分数矩阵，计算量为 O(n²·d)67% 相似已验证对于L层、H个注意力头、每头维度为d的模型，缓存n个token需要的显存为2×L×H×d×n×精度字节数64% 相似待验证IQuest-Q1 采用 3 层滑动窗口注意力搭配 1 层完整注意力的混合比例，在 88 层中只有 25 层会随上下文增长扩展 KV 缓存63% 相似待验证该文提出了残差流（residual stream）和注意力头组合等概念框架，用线性代数语言解析Transformer内部的注意力机制63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1010201API
curl https://kongchang.com/api/v1/knowledge/claims/1010201MCP
get_claim(id=1010201)