[控场AI]
概念hidden states / hidden state

隐藏状态

大语言模型内部每一层Transformer对输入token序列计算出的高维向量表示,编码了token在当前上下文中的语义、句法乃至语用信息。最后一层隐藏状态通常被送入输出层映射为概率分布。

时间轴 (近 90 天)

11月19日

通过隐藏状态分析,模型内部表示中可以解码出接收者性别信息,表明性别线索渗透进了模型的内部表征而非仅停留在表面措辞。

待验证50%
11月19日

隐藏状态指大语言模型在生成每个token时内部各层产生的稠密向量表示,承载模型对当前上下文语义的压缩编码。

待验证50%
11月4日

在Transformer架构中,每个token的输入经过多层自注意力与前馈网络处理,每一层产生一个高维向量表示,称为“隐藏状态”;所有层、所有token的隐藏状态整体构成“激活空间”。

待验证50%
10月14日

以Llama-3.1-8B为例,每个token在每一层都有一个维度为4096的隐藏状态向量,编码该token在当前上下文中的语义、句法乃至语用信息。

待验证50%

全部知识事实 (4)

来源文章