HybridAgent
一种混合推理智能体架构,允许大语言模型在文本推理和隐空间推理之间动态切换,在需要深入思考时进入隐空间模式,在需要调用工具或输出时回到文本模式,同时保留工具调用能力和推理可解释性。
核心事实
时间轴 (近 90 天)
运行 HybridAgent 需要 CUDA GPU,并且 Qwen3 分词器已内置锚点 token。
HybridLink 是一个小型适配器,它把模型最后一层的隐藏状态直接映射回自己的输入嵌入空间,从而绕过解码 token、重新嵌入的往返开销。
HybridAgent 的工具调用执行率保持在 99.7% 的可靠水平。
一项消融实验将模型的潜思考片段替换成来自无关问题的片段后,准确率下降 45%–51%,表明潜思考在承载实质推理。
在覆盖数学、科学、医学、搜索和 Agent 任务的 11 个基准上,跨三个模型规模,HybridAgent 平均比前沿的纯文本 Agent 和纯潜空间 Agent 高出 10.4%。
HybridRL 阶段的奖励信号包括答案正确性、输出格式合规性和工具调用是否成功。
HybridAgent 的基座模型基于 Qwen3,有 8B 和 14B 两个规模。
HybridAgent 提供一个“可解释潜模式”,可将每个潜步骤渲染回伪文本,以便观察内部思考过程。
HybridAgent 使用两个特殊 token `<latent>` 和 `</latent>` 来标记进入和退出潜空间。
斯坦福、UIUC 和 Together AI 联合发布了 HybridAgent 的论文和开源项目。
还有 27 条时间轴事件
全部知识事实 (20)
HybridAgent相比基线Token消耗减少35.5%至54.7%,推理速度提升1.8倍至2.6倍,成本降低2.7倍至3.7倍。
80%待验证HybridAgent 的基座模型基于 Qwen3,有 8B 和 14B 两个规模。
50%待验证HybridAgent 提供一个“可解释潜模式”,可将每个潜步骤渲染回伪文本,以便观察内部思考过程。
50%待验证HybridLink 是一个小型适配器,它把模型最后一层的隐藏状态直接映射回自己的输入嵌入空间,从而绕过解码 token、重新嵌入的往返开销。
50%待验证HybridAgent 使用两个特殊 token `<latent>` 和 `</latent>` 来标记进入和退出潜空间。
50%待验证HybridAgent 的核心机制是在同一次生成过程中,让模型在向量空间(潜空间)和文本空间之间来回切换。
50%待验证运行 HybridAgent 需要 CUDA GPU,并且 Qwen3 分词器已内置锚点 token。
50%待验证HybridAgent 的工具调用执行率保持在 99.7% 的可靠水平。
50%待验证一项消融实验将模型的潜思考片段替换成来自无关问题的片段后,准确率下降 45%–51%,表明潜思考在承载实质推理。
50%待验证在覆盖数学、科学、医学、搜索和 Agent 任务的 11 个基准上,跨三个模型规模,HybridAgent 平均比前沿的纯文本 Agent 和纯潜空间 Agent 高出 10.4%。
50%待验证HybridRL 阶段的奖励信号包括答案正确性、输出格式合规性和工具调用是否成功。
50%待验证斯坦福、UIUC 和 Together AI 联合发布了 HybridAgent 的论文和开源项目。
50%待验证README建议HybridRL使用32块GPU进行训练。
50%待验证隐空间步骤绕过文本推理轨迹,等价于把部分思维过程移出日志,导致依赖可读中间文本的审计手段(推理链回放、基于文本的越狱与有害行为检测、失败归因分析)检测覆盖率下降,需要以隐藏状态探针、激活监控等替代手段补位。
50%待验证对于搜索密集型任务(只检查答案而不审查路径),更便宜的隐空间智能体有吸引力;对于任何需要审计的场景,可读的文本推理链仍然不可替代。
50%待验证论文附录F提供伪文本窗口:每个隐空间步骤可映射到最近的token嵌入,可读性分数取词汇表上最佳余弦匹配均值。
50%待验证据论文Table 1,HybridAgent 8B在GAIA基准上以43.7分超过GPT-5.6 Luna的37.9分。
50%待验证HybridAgent在检测到特殊`<latent>` token后停止解码,将最后一层隐藏状态经约1000万参数的HybridLink适配器直接回灌为下一步输入嵌入(论文Eq.4)。
50%待验证隐空间段的终止条件由模型自主判断:当输出最接近`</latent>` token嵌入时退出。
50%待验证HybridAgent跨轮次时保留完整KV缓存(含隐空间步骤),避免将轨迹重新编码为token。
50%