d3rlpy 是一个开源的离线深度强化学习库，实现了 CQL、BCQ、IQL 等多种主流离线 RL 算法，并要求输入数据为符合其格式的 MDPDataset。