[控场AI]
概念教师强制

Teacher Forcing

训练序列生成模型的核心技巧,由Williams和Zipser于1989年提出,训练时使用真实目标序列token作为解码器输入而非模型自身预测,可稳定梯度信号但存在训练推理分布差异问题

时间轴 (近 90 天)

10月8日

训练阶段解码器可采用教师强制方式并行处理整个目标序列,推理阶段模型只能逐词自回归生成输出

待验证50%
10月8日

教师强制引入了暴露偏差问题:训练时输入真实目标词,推理时输入模型自己预测的词,预测出错会在后续步骤累积放大

待验证50%
10月4日

Teacher Forcing由Williams和Zipser于1989年提出,训练解码器时每一步输入使用真实目标序列的对应token而非模型自身预测

待验证50%

全部知识事实 (3)

来源文章