待验证50% 置信事实精确时间
隐藏状态指大语言模型在生成每个token时内部各层产生的稠密向量表示,承载模型对当前上下文语义的压缩编码。
1
来源数
50%
置信度
长期有效
时效性
2026/11/19
首次发现
来源
涉及实体
相关事实
待验证以Llama-3.1-8B为例,每个token在每一层都有一个维度为4096的隐藏状态向量,编码该token在当前上下文中的语义、句法乃至语用信息。76% 相似待验证稀疏自编码器是一种无监督学习结构,通过将高维模型激活向量压缩到过完备的稀疏隐空间再重建原始激活,迫使每个隐变量只对少数输入模式敏感。70% 相似待验证研究人员发现,隐藏字符手法可用于对大语言模型发起提示注入攻击,在正常文本中夹带模型会解析执行的隐藏指令70% 相似待验证logit-lens将各层隐藏状态投影到词汇表logit空间,观察若在该层强制解码模型会输出什么70% 相似待验证嵌入向量是将文本映射到高维空间中的稠密向量表示,通常由预训练语言模型生成。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1186429API
curl https://kongchang.com/api/v1/knowledge/claims/1186429MCP
get_claim(id=1186429)