上下文 bandit

上下文 bandit 是强化学习中的一类序贯决策框架：智能体每轮观察上下文特征，选择一个动作并只获得即时奖励，不涉及逐步信用分配问题，也无需对价值函数做时序回溯估计。

Cord 将“给定提示与当前部分响应、选择一个残差系数以调制揭示顺序”建模为上下文 bandit 问题，动作空间是低维残差系数而非具体 token，奖励取自整条序列生成完毕后的序列级指标。