专家迭代是一种介于模仿学习与强化学习之间的训练范式：先让当前模型生成大量轨迹，用奖励函数挑出表现最好的若干条，再以这些专家样本做监督微调，如此循环。该范式没有价值函数、没有策略梯度、不对失败样本做负向惩罚，模型只学着模仿自己的高光时刻，因此更容易出现奖励黑客。