贝尔曼语言模型：用强化学习优化LLM智能体决策

在构建LLM智能体时，一个常被忽视的事实是：许多决策场景实际上高度重复。智能体在处理任务时，会反复遇到相同的状态，而LLM每次都需要从上下文中重新推导决策，这既慢又贵。最近一篇研究提出了一种名为“贝尔曼语言模型（BLM）”的方法，将重复决策建模为马尔可夫决策过程（MDP），一次求解后复用，从而大幅提升效率。

重复决策：智能体效率的隐形杀手

在有限范围的智能体工作流中，决策空间会逐渐趋于饱和。智能体反复遇到相同的状态，经过足够多的对话后，几乎不再遇到新状态。然而，传统的LLM并不会将这些决策视为优化问题，而是每轮都从提示中重新推导。这种“重复造轮子”的做法导致模型调用次数居高不下，成本难以控制。

研究指出，将合理范围内的决策视为优化问题，一次性求解并复用，往往能让智能体更快、更便宜、更可靠。这背后的洞察是：许多决策的本质是选择动作，而非生成内容，而选择动作完全可以通过预先计算的策略来优化。

马尔可夫决策过程（MDP） 是强化学习的标准数学框架，用一个五元组 $(S, A, P, R, \gamma)$ 描述序贯决策问题：$S$ 为状态集合，$A$ 为动作集合，$P(s'|s,a)$ 为状态转移概率，$R(s,a)$ 为即时奖励（或此处等价地取为负成本），$\gamma$ 为折扣因子。其核心性质是“马尔可夫性”——下一状态只依赖当前状态与动作，与更早的历史无关。这正是把重复出现的智能体决策建模为 MDP 的前提：只要当前对话状态被完整刻画，就无需回看整段上下文。MDP 一旦转移与成本已知，即可用动态规划、策略迭代或价值迭代在离线阶段求出最优策略 $\pi^*(s)$，即“在每个状态下该选哪个动作”。BLM 的复用正是建立在这一离线可解性之上。

离散化，然后决策

该方法称为“Discretize, Then Decide”（离散化，然后决策）。它从工作流日志或LLM智能体自身的运行数据出发，将每次对话读取为离散状态，并估计每个结果的概率和每个动作的成本，直到没有新状态出现且概率不再变化。然后，它求解得到的马尔可夫决策过程。

求解结果作为一个控制器围绕模型运行：对于状态中内容固定的动作（如工具调用或模板化回复），控制器直接发送；对于未见过的状态，则交回LLM处理。这种架构将LLM的生成能力与决策优化分离，让模型专注于真正需要创造力的部分。

状态离散化指把连续、自由文本形式的对话上下文映射为有限个可枚举的离散状态（通常借助聚类、哈希或语义等价判定）。这一步直接决定了 MDP 的状态空间大小与转移估计的可靠性：粒度过细会导致状态爆炸、每个状态样本稀疏，概率与成本估计噪声大；粒度过粗则会把本质不同的情形合并，令学到的策略在真实执行时出错。文中“直到没有新状态出现且概率不再变化”的收敛判据，实际上是在检查状态空间是否已饱和、经验转移分布是否已稳定，这也是该方法只适用于“决策空间可枚举、可收敛”场景的根本原因。

实验数据：效率与性能的双重提升

在τ²-bench电信基准上，无模型控制器解决了79%的任务。作为BLM运行时，开源模型Qwen3.8-27B的任务解决率从29%提升到96%，同时模型调用次数减少了93%。对于本身就能解决96%任务的Claude Opus 5.5，以BLM方式运行将模型调用和每任务成本降低了约98%，并额外解决了2个任务。

在InventoryBench上，求解后的策略（无模型）击败了所有已发表方法。这表明，对于决策密集型任务，预先求解的策略可以超越纯LLM方法。然而，研究也发现，当困难在于编写内容而非选择动作时（例如解决SymPy问题），能提前解决的决策很少，BLM帮助不大。这划定了方法的适用边界。

τ²-bench 是面向工具调用型智能体（如电信客服、航空改签等）的评测基准，特点是需要多轮交互、调用外部工具并遵守领域规则，因而同一类子任务会以高度相似的中间状态反复出现，非常适合检验“重复决策可复用”这一假设。InventoryBench 则是库存管理类决策基准，动作空间相对有限、决策偏重选择而非写作，因此无模型策略即可击败已发表方法。理解这两个基准的差异，有助于看清文中结论的适用范围：增益集中在“选择动作”占主导的任务上，而非“生成内容”占主导的任务。

启示与局限

贝尔曼语言模型的核心贡献在于将强化学习中的经典思想引入LLM智能体优化。它提醒我们，并非所有智能体决策都需要实时推理，许多重复性选择可以通过离线求解来加速。对于构建生产级智能体的团队，这意味着可以大幅降低推理成本，同时提高一致性。

但该方法并非万能。它依赖于决策空间的可枚举性和稳定性，对于高度开放或内容生成密集的任务，优势有限。此外，状态离散化的质量直接影响策略效果，需要仔细设计。尽管如此，BLM为智能体效率优化提供了一个有前景的方向，值得进一步探索。