将RL应用于LLM时，通常采用策略梯度方法（如PPO、GRPO），把LLM的文本生成视为一系列动作，用奖励函数引导模型生成更符合目标的输出。