概念contextual hidden states
上下文隐藏状态
目标模型处理输入序列时各层输出的、融合了前文信息的稠密向量表示,编码了模型对当前上下文的理解,可被草稿模型复用进行短程预测。
时间轴 (近 90 天)
10月19日
上下文隐藏状态指目标模型各层输出的、已融合前文信息的稠密向量表示,天然携带历史信息。
待验证50%
目标模型处理输入序列时各层输出的、融合了前文信息的稠密向量表示,编码了模型对当前上下文的理解,可被草稿模型复用进行短程预测。
上下文隐藏状态指目标模型各层输出的、已融合前文信息的稠密向量表示,天然携带历史信息。