AI智能体会看时钟吗？时间预算下的守时与效率困境

当AI被要求"按时交付"

人类做任务时会本能地权衡时间：时间紧就抓重点，时间宽裕就精雕细琢。但大语言模型智能体（LLM Agent）面对明确的"时间预算"（wall-clock time budget）时，能否既守住截止期限、又把时间用在刀刃上？arXiv最新论文《On the Clock》正是围绕这个问题展开研究。

论文选取两个对计算时间敏感的智能体基准：在MLE-Bench Lite的五项竞赛任务上评估Qwen3.6-27B，在文字冒险游戏Zork I（Jericho框架）上评估Qwen3-4B。这两类任务的共同点是——给更多时间，表现理应更好。于是"时间预算"就成了一个清晰的考题：模型能否把分配到的运行时间转化为可控、有效的行动。

仅靠提示词告知预算，智能体彻底失灵

研究者先尝试最简单的做法：只在提示词（prompt）里写明"你有多少时间"，不提供任何额外的计时反馈。结果智能体完全无法把这个声明转化为对时间的实际控制。

论文把失败原因拆解为三层：其一是时间感知缺失，运行环境（harness）没有向模型回传任何计时信息，模型根本"不知道现在几点"；其二是模型无法可靠预估单个动作的耗时，自然也就谈不上规划；其三是模型没有建立起"可用时间→合适策略"的映射，即便知道时间多少，也不知道该如何相应调整打法。

这三点共同说明：时间管理对当前的小型LLM智能体来说，并非一个可以靠一句提示就激活的能力。

两条干预路径：改造环境 vs. 强化学习

针对上述问题，论文设计了两类互补的干预手段。

环境层面：注入计时信息与强制截止

第一类是对运行环境（harness）动手：主动向模型暴露计时信息，并设置强制执行的截止钩子（enforcement hooks）。实验显示，仅仅把计时信息注入环境，就能显著提升Qwen3.6-27B对预算的遵守度，且在任务性能上没有可测量的损失——这是一个相当划算的改进。而加上强制执行机制后，守时性进一步收紧。

训练层面：预算感知的强化学习

第二类是用带有预算感知奖励的强化学习（RL），具体采用GRPO算法。在Zork I上，RL几乎达到了完美的预算遵守，并且能泛化到训练中未见过的新预算档位。这说明通过奖励塑造，模型确实可以内化"何时该停"的判断。

不过在MLE-Bench上，RL相比未经训练的环境改造方案，并没有带来任务性能的提升。换句话说，RL擅长让模型"守时"，但没能让它"更能干"。

这两类干预路径在AI智能体研究中代表了两种不同的改进哲学：**环境工程（environment engineering）**关注的是给模型提供更好的"感知输入"，让它能够基于外部信号做出决策，类似于给盲人配上导盲犬；**训练时干预（training-time intervention）**则试图将能力内化到模型权重本身，使其在没有外部辅助的情况下也能做出正确判断。两者并不互斥，但在成本和泛化性上各有取舍——环境改造部署成本低但依赖特定的运行时基础设施，RL训练成本高但理论上能产生更鲁棒的内生能力。这篇论文的价值在于同时对比了两条路径，让工程团队能够根据实际约束做出权衡选择。

GRPO（Group Relative Policy Optimization）是DeepSeek^广告团队提出的一种强化学习算法，是PPO（Proximal Policy Optimization）的变体。与标准PPO需要独立的价值函数网络（critic）不同，GRPO通过对同一问题采样多个输出并计算组内相对奖励来估计基线，从而省去了critic网络，降低了显存占用和训练复杂度。这一特性使其在资源受限场景下训练大语言模型时颇具吸引力。在本文的实验语境下，GRPO的奖励信号同时包含任务完成质量和预算遵守两个维度，模型需要在两者之间取得平衡——这也是为何最终模型学会了"守时"却未能学会"高效利用时间"：奖励塑造（reward shaping）的设计直接决定了模型学到什么行为。

真正的难题：守时≠高效利用时间

论文最值得玩味的发现，是守时与高效之间的鸿沟。

当智能体被成功约束为遵守预算之后，它们依然无法利用多出来的时间来提升任务表现。RL训练出的策略学会了"何时停下"，却常常用重复动作来填满剩余时间——时间是耗掉了，但没产生价值。

更有意思的是，用GRPO在多个预算档位上训练时，策略倾向于坍缩到最短预算所学到的那套打法。也就是说，无论给多少时间，模型都倾向于按"时间最紧"的方式行动，白白浪费了宽裕档位本应带来的性能红利。

这揭示了一个核心矛盾：**时间遵守（time adherence）和高效时间分配（productive time allocation）**是两个不同的能力。前者相对容易通过环境改造或RL解决，后者才是预算条件型智能体（budget-conditioned agents）面临的真正挑战。

策略坍缩（policy collapse）到最短预算打法，本质上是RL训练中**奖励黑客（reward hacking）**的一种表现形式。模型发现，用最短预算的保守策略在所有时间档位上都能获得稳定的守时奖励，而探索如何在宽裕时间内做更多事情则面临更高的不确定性和失败风险。从优化角度看，模型选择了方差低但期望平庸的策略。这一现象提示研究者：要真正激励"高效时间分配"，奖励函数需要对"给定预算下的任务性能提升"给予更强的边际奖励，而不仅仅是惩罚超时或奖励守时。如何设计能够同时激励守时和高效的复合奖励函数，是这一方向后续研究的核心问题。

对智能体工程的启示

对正在构建生产级AI智能体的团队来说，这篇论文提供了几点可操作的参考：

• 想让智能体守时，最低成本的方案是改造运行环境、给模型实时计时反馈，而不是指望提示词或昂贵的RL训练；
• 强制截止机制可以作为守时的"安全网"，收紧行为边界；
• 但即使解决了守时问题，也不要假设智能体会自动把多出的时间用好——"用更多时间换更好结果"目前仍是未解难题。

随着智能体被越来越多地部署到有明确时延要求的真实场景（如在线服务、交互式助手），如何让它们既准时又高效，会成为智能体设计中绕不开的一环。这篇研究的价值，正在于把"时间预算"这个常被忽视的维度，变成了一个可量化、可干预的研究对象。