隐藏状态

大语言模型内部每一层Transformer对输入token序列计算出的高维向量表示，编码了token在当前上下文中的语义、句法乃至语用信息。最后一层隐藏状态通常被送入输出层映射为概率分布。