Unverified50% confidenceFactExact time
Attention 采用 QKV 框架，每个 Token 的 Embedding 经三个线性变换矩阵生成 Query、Key、Value 向量
1
Sources
50%
Confidence
Long-term
Relevance
7/20/2026
First Seen
Sources
Related Claims
UnverifiedTokenization、Embedding与Attention是理解大模型行为的三块基石66% similarUnverifiedKV Cache技术允许模型在自回归生成时复用历史token的注意力Key-Value矩阵计算结果，使长对话推理延迟从O(n²)降低至接近线性66% similarUnverified自注意力机制的QK^T计算对于序列长度n、隐藏维度d的模型需要O(n²d)次乘加运算63% similarUnverified模型每个token向量同时扮演词的表示、点吸引子和几何读出三重角色，所有功能压缩进共享的井表中61% similarUnverifiedLoRA推理时可将BA与原权重合并，不增加任何推理延迟，通常只应用于注意力层的Q、V权重矩阵61% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/570187API
curl https://kongchang.com/api/v1/knowledge/claims/570187MCP
get_claim(id=570187)