RLM
一类基于强化学习的语言模型训练范式，以另一个模型作为反馈信号来源替代人类标注，旨在提升训练的可扩展性，与RLHF同属语言模型对齐领域
时间轴 (近 90 天)
RLM 方案的权衡是每一轮写代码再执行的延迟和 token 开销都远高于直接推理
RLM 的 Python 子进程是普通子进程，并不经过操作系统级沙箱（Seatbelt/bwrap），该机制只覆盖 shell 命令
RLM 的约束机制包括：stdout 超过 1000 字符转为句柄、子调用被锁定在 Flash 模型、每个子调用 120 秒超时、默认 max_tokens 4096、单次 RPC 批次最多 16 个 prompt、递归深度耗尽后降级为普通 LLM 补全
CodeSmith 是一个开源项目，其 RLM（Recursive Language Model，递归语言模型）设计的核心思路是让大模型写代码并交给解释器执行，而非让模型自己计算
RLM 的系统提示规定模型是递归语言模型的根节点，输入被加载进长期运行的 Python REPL，模型只拿到实时上下文句柄而非原始内容
RLM 中输入 P 永远只作为 REPL 变量（context/ctx）存在，绝不出现在根 LLM 的窗口里，根 LLM 只收到小体量的元数据消息
RLM 的 REPL 提供辅助函数：context_meta() 返回受限元数据、peek(start, end) 按偏移取有界切片、search(pattern, max_hits=100) 带命中上限的正则搜索、sub_query(prompt, slice) 把语义判断委派给子 LLM
RLM 的合约规定每一轮只输出一个 repl 代码块且不许有纯文字回合（No prose-only turns）
Alex Zhang是RLM论文的第一作者，也是MIT的博士生
Prime Agent采用递归语言模型（RLM），不提供固定工具集，而是提供持久化的iPython内核，让模型通过编写Python代码创造工具
全部知识事实 (10)
RLM 方案的权衡是每一轮写代码再执行的延迟和 token 开销都远高于直接推理
50%待验证RLM 的 Python 子进程是普通子进程，并不经过操作系统级沙箱（Seatbelt/bwrap），该机制只覆盖 shell 命令
50%待验证RLM 的约束机制包括：stdout 超过 1000 字符转为句柄、子调用被锁定在 Flash 模型、每个子调用 120 秒超时、默认 max_tokens 4096、单次 RPC 批次最多 16 个 prompt、递归深度耗尽后降级为普通 LLM 补全
50%待验证CodeSmith 是一个开源项目，其 RLM（Recursive Language Model，递归语言模型）设计的核心思路是让大模型写代码并交给解释器执行，而非让模型自己计算
50%待验证RLM 的系统提示规定模型是递归语言模型的根节点，输入被加载进长期运行的 Python REPL，模型只拿到实时上下文句柄而非原始内容
50%待验证RLM 中输入 P 永远只作为 REPL 变量（context/ctx）存在，绝不出现在根 LLM 的窗口里，根 LLM 只收到小体量的元数据消息
50%待验证RLM 的 REPL 提供辅助函数：context_meta() 返回受限元数据、peek(start, end) 按偏移取有界切片、search(pattern, max_hits=100) 带命中上限的正则搜索、sub_query(prompt, slice) 把语义判断委派给子 LLM
50%待验证RLM 的合约规定每一轮只输出一个 repl 代码块且不许有纯文字回合（No prose-only turns）
50%待验证Alex Zhang是RLM论文的第一作者，也是MIT的博士生
50%待验证Prime Agent采用递归语言模型（RLM），不提供固定工具集，而是提供持久化的iPython内核，让模型通过编写Python代码创造工具
50%