正则化Q函数

近期一篇理论研究通过正则化Q函数，在对抗性MDP下将策略优化的遗憾界提升了整整一个H因子，从而消除了Horizon差距。

正则化Q函数指在Q函数更新中引入凸正则项（如熵正则或L2正则），使每个状态-动作对的Q值更新通过正则项与全局策略分布耦合，充当全局稳定器。

论文将算法扩展到对抗性线性混合MDP，并获得了相同的horizon依赖改进，表明正则化Q函数思路不依赖于表格的有限性。