概念Q/K/V / Query-Key-Value

Query/Key/Value

Transformer 注意力机制中的核心术语，Query、Key、Value 均为输入嵌入经不同线性变换得到的向量，注意力权重由 Query 与 Key 点积经 softmax 计算，输出为 Value 加权和

核心事实

自注意力机制将输入序列中每个词映射为Query、Key、Value三个向量，通过计算Query与Key的点积并经Softmax归一化得到注意力权重

10月18日

Query/Key/Value 是 Transformer 注意力机制的标准术语，最初源自信息检索的类比。

待验证50%

自注意力机制将输入序列中每个词映射为Query、Key、Value三个向量，通过计算Query与Key的点积并经Softmax归一化得到注意力权重

Query/Key/Value 是 Transformer 注意力机制的标准术语，最初源自信息检索的类比。