ehr2rl：将MIMIC-IV电子病历转为离线强化学习数据集的Python库

为什么需要ehr2rl？

在医疗机器学习领域，存在一个尴尬的断层：监督学习工具（如预测模型）已经相当成熟，而离线强化学习（offline RL）库则假设你已经拥有了干净的「状态-动作-奖励」数据集。但现实中，从电子健康记录（EHR）到RL数据集之间的预处理工作，往往需要研究者反复编写相似的代码。

据Reddit用户分享，他在研究项目中不断重复编写同一套预处理流程：从EHR表中提取数据、按小时对齐生命体征和实验室指标、定义什么算作「动作」、附加奖励信号，最后转换成d3rlpy能接受的格式。由于找不到现成的库来完成这个「中间层」的工作，他开发了ehr2rl。

这个工具的目标很明确：填补EHR原始数据与离线RL训练之间的空白，让研究者不必重复造轮子。

离线强化学习（offline RL） 是强化学习的一个分支，其核心设定是：智能体只能从一份预先收集好的、固定的历史交互数据集中学习策略，而无法与环境进行新的在线交互。这与需要实时试错的在线RL形成鲜明对比。在医疗场景中，在线试错在伦理和安全性上不可行，因此离线RL成为利用EHR数据学习治疗策略的天然选择。然而，离线RL算法通常假设数据集已经以「状态-动作-奖励-终止」的元组形式组织好，而原始EHR数据是事件流式的表格记录，二者之间存在巨大的工程鸿沟，这正是ehr2rl试图弥合的环节。

ehr2rl的核心功能

ehr2rl通过BigQuery从MIMIC-IV v3.1构建小时级的患者轨迹，每条轨迹包含状态、动作、奖励和终止标志。它的几个设计细节值得关注：

• 查询安全机制：每个查询都会先执行dry run，并设置硬性的maximum_bytes_billed上限。这意味着即使队列查询写错了，也不会悄悄产生高额账单。
• 动作构建：从ICU输入事件中提取血管升压药和液体剂量，并按照用户自定义的分箱边界进行离散化。
• 可替换的奖励函数：支持死亡率、每步SOFA变化、30天再入院，或者这些奖励的加权组合。
• 行为策略估计：从数据中估计观察到的临床医生（行为）策略，这是离线策略评估（off-policy evaluation）所需要的。
• 直接导出：输出为d3rlpy数据集，并可选生成JSON附属文件，记录数据来源。

此外，项目还提供了合成MIMIC风格数据生成器，即使没有MIMIC访问权限也能试用。

d3rlpy 是一个开源的离线深度强化学习库，实现了CQL、BCQ、IQL等多种主流离线RL算法，并提供统一的训练与评估接口。它要求输入数据为符合其格式的MDPDataset，即由状态、动作、奖励、终止标志组成的轨迹集合。ehr2rl将预处理结果直接导出为d3rlpy数据集，意味着用户无需再手动转换格式，即可直接调用d3rlpy中的算法进行策略训练。这一设计选择降低了从EHR到策略学习的端到端门槛，也使ehr2rl在生态上与现有的离线RL算法实现保持兼容。

行为策略（behavior policy） 指的是在历史数据收集过程中实际做出决策的策略，在医疗场景中即临床医生的用药与治疗习惯。离线策略评估（off-policy evaluation, OPE）的目标是在不进行在线实验的前提下，估计某个新策略（目标策略）的性能。由于离线数据是由行为策略生成的，数据分布与目标策略的分布存在偏差，OPE方法通常需要显式地建模或估计行为策略，以计算重要性权重或进行分布校正。ehr2rl提供的行为策略估计功能，正是为后续可靠的离线评估提供必要输入，而非仅仅服务于策略训练本身。

设计中的关键权衡

作者特别希望获得关于奖励设计和动作离散化的反馈。这两个问题在临床离线RL中确实没有标准答案。

奖励设计方面，死亡率是一个稀疏且延迟的奖励，而SOFA变化提供更密集的信号，但可能与长期结果不一致。加权混合奖励看似折中，但权重选择本身缺乏理论指导。动作离散化同样棘手：血管升压药和液体的剂量分箱边界会直接影响策略学习的结果，而目前的分箱方式更多是启发式的。

从工程角度看，ehr2rl选择BigQuery作为数据访问层，这降低了本地存储和处理的门槛，但也将用户绑定到Google Cloud生态。对于拥有MIMIC-IV访问权限的研究者，这是一个务实的取舍。

SOFA（Sequential Organ Failure Assessment）评分 是重症监护中广泛使用的器官功能衰竭评估工具，综合呼吸、凝血、肝脏、心血管、中枢神经和肾脏六个系统的指标，分值越高表示器官功能障碍越严重。在ehr2rl中，每步SOFA变化被用作一种密集奖励信号：SOFA下降通常意味着病情改善。相比仅以死亡为终点的稀疏奖励，SOFA变化能在轨迹的每一步提供反馈，有利于学习。但SOFA是短期生理状态的汇总，与长期功能恢复或生存质量并不完全一致，因此将其作为奖励需要谨慎权衡。

适用边界与使用建议

作者明确说明，ehr2rl是一个研究工具，不用于治疗决策。这一点在医疗AI工具中至关重要。离线RL在临床场景中的应用仍处于早期阶段，行为策略估计和离线评估的可靠性需要谨慎验证。

对于想尝试的研究者，建议先从合成数据入手，理解轨迹构建和奖励定义的工作流程，再迁移到真实的MIMIC-IV数据。在动作离散化方面，可以尝试不同的分箱方案，观察策略评估结果是否稳健。奖励设计上，建议从单一奖励（如死亡率）开始，逐步引入更复杂的组合，避免过早增加调参维度。

ehr2rl的出现，反映了医疗RL研究从「算法为中心」向「数据管道为中心」的转变。一个可靠的预处理层，可能比一个新算法更能推动领域进步。