待验证50% 置信事实精确时间
保守Q学习（CQL）通过惩罚未见动作的价值估计来抑制过估计。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证CQL（Conservative Q-Learning）由Kumar等人于2020年提出，通过损失函数惩罚项压低策略访问动作Q值、抬高数据集已有动作Q值实现保守估计74% 相似待验证当对齐训练的惩罚信号过强，模型会趋向于宁可少说绝不出错的保守策略，导致回答冗长、前置免责、绕圈子，这种现象被称为过度对齐或对齐税68% 相似待验证学习器从有限数据中估计损失分布必然存在偏差，导致对CVaR的估计偏离真实值，从而削弱甚至逆转风险厌恶的实际效果。67% 相似待验证离线强化学习通过引入CQL、IQL等约束算法惩罚智能体偏离数据集分布的行为，但代价是探索能力受限67% 相似待验证任何对比可训练参数量不同的微调方案的研究都应警惕共享学习率陷阱，否则参数更少效果更好的结论可能需要重新审视65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1103302API
curl https://kongchang.com/api/v1/knowledge/claims/1103302MCP
get_claim(id=1103302)