概念教师强制
Teacher Forcing
训练序列生成模型的核心技巧,由Williams和Zipser于1989年提出,训练时使用真实目标序列token作为解码器输入而非模型自身预测,可稳定梯度信号但存在训练推理分布差异问题
时间轴 (近 90 天)
10月8日
训练阶段解码器可采用教师强制方式并行处理整个目标序列,推理阶段模型只能逐词自回归生成输出
待验证50%
10月8日
教师强制引入了暴露偏差问题:训练时输入真实目标词,推理时输入模型自己预测的词,预测出错会在后续步骤累积放大
待验证50%
10月4日
Teacher Forcing由Williams和Zipser于1989年提出,训练解码器时每一步输入使用真实目标序列的对应token而非模型自身预测
待验证50%