Reef Infra
一个面向强化学习工程实践的基础设施框架，通过"权重配方"（weight recipes）机制将算法逻辑与服务基础设施解耦，提供处理器、目标、调度、配方等组件化抽象，并内置重启回放、检查点、批次确认持有等服务层容错能力
时间轴 (近 90 天)
Reef Infra 为自定义 harness 方法提供了手动（manual）与混合（hybrid）两种模式，让主动请求成为触发变更的第一类输入
成熟的系统架构应同时为数据驱动的修正和意图驱动的变更提供清晰的通道
将请求入口与发布门控分离是一种关注点分离设计，使团队可以独立调整请求策略与发布策略
强制要求显式声明 requests 参数而非接受宽泛的 **kwargs，是将接口合规性检查前移到启动阶段，把配置错误与运行时错误严格区分开
手动请求能够发起变更，但原有的评估与发布策略仍然决定被提议的编辑最终是否生效
Reef Infra 要求自定义方法必须显式声明一个 requests 关键字参数，使用通用的 **kwargs 会在启动时被 recipe 直接拒绝
混合模式会从下一个自动批次中附带一部分样本，让请求在抵达时带有近期的执行上下文
在手动模式下，proposer（提议器）接收到的是一个排队中的请求以及一个空的样本列表，变更完全由意图驱动
Reef Infra 提供一套实验循环，用于测试用户自己编写的上下文策略
Reef Infra 的实验循环包含 Harness proposer（方案提议器）、Evaluator（评估器）和对照运行三个部分，对照运行在固定模型和相同任务集下并行执行
还有 18 条时间轴事件
全部知识事实 (20)
若希望部署决策依赖基准测试或回归检查，必须为配方提供一个同时实现度量与选择决策的候选评估插件
60%待验证成熟的系统架构应同时为数据驱动的修正和意图驱动的变更提供清晰的通道
50%待验证将请求入口与发布门控分离是一种关注点分离设计，使团队可以独立调整请求策略与发布策略
50%待验证强制要求显式声明 requests 参数而非接受宽泛的 **kwargs，是将接口合规性检查前移到启动阶段，把配置错误与运行时错误严格区分开
50%待验证手动请求能够发起变更，但原有的评估与发布策略仍然决定被提议的编辑最终是否生效
50%待验证Reef Infra 要求自定义方法必须显式声明一个 requests 关键字参数，使用通用的 **kwargs 会在启动时被 recipe 直接拒绝
50%待验证混合模式会从下一个自动批次中附带一部分样本，让请求在抵达时带有近期的执行上下文
50%待验证在手动模式下，proposer（提议器）接收到的是一个排队中的请求以及一个空的样本列表，变更完全由意图驱动
50%待验证Reef Infra 为自定义 harness 方法提供了手动（manual）与混合（hybrid）两种模式，让主动请求成为触发变更的第一类输入
50%待验证Reef Infra 提供一套实验循环，用于测试用户自己编写的上下文策略
50%待验证Reef Infra 的实验循环包含 Harness proposer（方案提议器）、Evaluator（评估器）和对照运行三个部分，对照运行在固定模型和相同任务集下并行执行
50%待验证Reef Infra 提供比较机制和 publish-or-revert（发布或回滚）循环，但压缩策略、任务夹具及可接受覆盖率的定义仍需用户自己掌控
50%待验证Reef Infra 的默认选择策略统计任务胜负比，只要候选方案赢的次数多于输的次数就采纳
50%待验证Reef Infra 仓库中有一个更保守的示例策略，只有在没有任何任务出现退化时才接受候选方案
50%待验证使用自定义 LangChain harness 时，需要一个适配器来启动 episode 并读取 trace 以接入 Reef Infra
50%待验证Reef Infra 的服务框架负责记录接收、重启后回放、批次持有确认、检查点以及发布下一个服务版本等生命周期工作
50%待验证在Reef Infra中，一个新的RL算法只需实现Processor和Objective两个接口，调度与检查点逻辑无需触碰
50%待验证目标（Objective）负责准备优势值、指标以及提议的算法状态，并声明所属的损失族
50%待验证处理器（Processor）负责把记录下来的生成结果和反馈组装成带类型的批次
50%待验证Reef Infra 的权重配方机制将一次训练更新拆解为处理器（Processor）、目标（Objective）、调度（Schedule）和配方（Recipe）四个协作组件
50%