离线强化学习的核心难题是分布偏移——学习到的策略容易偏离行为策略，从而在真实环境中遭遇未见过状态-动作对。