双层优化是一类嵌套优化问题：外层优化一组超参数或分布参数，内层则在该参数给定的条件下求解模型的最优策略。L2RR把源提示上的采样分布作为外层变量，把GRPO的策略更新作为内层问题。