KV缓存作为运行时：AI智能体交互的第三条路径

引言：AI智能体开发中被忽视的第三条路径

在构建大语言模型（LLM）智能体时，业界通常聚焦两个维度：模型训练与外部脚手架（提示词工程、工具调用、多智能体编排等）。

**大语言模型智能体是指基于GPT、Claude、Llama等预训练语言模型构建的自主决策系统。**与传统的单次问答不同，智能体具备感知环境、规划任务、使用工具并持续交互的能力。例如，AutoGPT能够分解复杂任务并自主调用搜索引擎、代码执行器等工具完成目标。智能体的核心挑战在于如何让模型在多轮交互中保持上下文连贯性、做出合理决策，并高效地与外部系统协作。

然而，Yandex研究团队近期提出了一个颇具启发性的观点——在这两者之间，存在着一个长期被低估的维度：模型的推理运行时（inference runtime）。

他们的核心思路是：通过直接操作模型推理过程中的内部状态——KV缓存（KV-cache）——实现更强的交互性与响应能力。这一想法延续了该实验室此前发表的Hogwild! Inference和AsyncReasoning两项工作的技术脉络。

KV缓存的本质：从性能优化到运行时抽象

KV缓存的工作原理

要理解这项研究,首先需要明白KV缓存在Transformer推理中的角色。

**Transformer是现代LLM的核心架构，由Google在2017年提出。**其核心创新是自注意力（Self-Attention）机制：每个token在处理时都会计算与序列中所有其他token的相关性权重。具体来说，每个token会生成Query（查询）、Key（键）和Value（值）三个向量，通过Query与所有Key的点积计算注意力分数，再用这些分数加权求和所有Value向量，得到该token的上下文表示。这个过程在每一层、每个生成步骤都要重复，计算复杂度为O(n²)。

**Transformer架构之所以革命性，在于它彻底摆脱了循环神经网络（RNN）的串行处理限制。**在RNN时代，模型必须按顺序处理每个词，前一个词处理完才能处理下一个，这严重限制了并行化能力。Transformer通过自注意力机制实现了全局并行计算：在编码阶段，所有token可以同时处理，每个token都能"看到"整个序列的信息。这种并行性使得训练速度提升了数十倍，也让模型规模从百万级参数扩展到千亿级成为可能。但在生成阶段，由于必须等待前一个token生成后才能预测下一个，Transformer仍然受制于自回归的串行瓶颈。这正是KV缓存优化的起点，也是本文讨论的运行时干预的核心切入点。

原始Transformer包含编码器和解码器两部分，但现代LLM主要采用三种变体：(1) 纯解码器架构（GPT系列），仅保留解码器部分，适合生成任务；(2) 纯编码器架构（BERT系列），仅保留编码器，适合理解任务；(3) 编码器-解码器架构（T5、BART），保留完整结构，适合翻译等序列到序列任务。编码器使用双向注意力，每个token能看到整个输入序列；解码器使用因果注意力（causal attention），每个token只能看到之前的token，防止信息泄露。本文讨论的KV缓存主要应用于解码器的自回归生成过程。在编码阶段，所有token的Key和Value可以一次性计算并缓存；在解码阶段，每生成一个新token就追加其KV向量到缓存末尾。这种增量缓存机制是性能优化的关键，也是运行时操纵的切入点。

当LLM逐个token生成文本时，每个新token都需要与之前所有token进行注意力计算。**自回归生成是LLM生成文本的基本方式：模型根据已有的token序列预测下一个token，然后将新生成的token追加到序列末尾，再基于更新后的序列预测下下一个token，如此循环直到生成结束标记。**这个过程本质上是串行的——每个新token都依赖于之前所有token的信息。以生成"人工智能正在改变世界"为例：模型先预测"人工"，再基于"人工"预测"智能"，再基于"人工智能"预测"正在"，依此类推。

为避免重复计算，模型会缓存历史token对应的Key和Value向量，这就是KV缓存。这种串行特性导致长文本生成速度较慢，也是KV缓存优化的出发点。

**没有KV缓存时，生成第n个token需要对前面n-1个token重新计算注意力，总计算量呈平方级增长。**生成100个token需要约5000次注意力计算（1+2+3+...+99）。而有了KV缓存后，每生成一个新token只需要用它的Query向量与缓存中的所有Key向量做一次点积，计算量降为线性增长：生成100个token只需100次计算。这种优化在长文本生成中尤为关键——生成一篇2000字的文章（约3000个token），没有缓存需要约450万次计算，有缓存只需3000次。

但KV缓存也有代价：每个token的Key和Value向量都需要存储在GPU显存中。以Llama 2 70B模型为例，每个token的KV缓存在fp16精度下需要约1KB存储空间。处理32k tokens的上下文需要约32GB显存仅用于缓存，这还不包括模型参数本身占用的140GB。为缓解这一问题，业界开发了多种优化技术：(1) PagedAttention将KV缓存分页管理，类似操作系统的虚拟内存；(2) Multi-Query Attention让多个注意力头共享Key和Value，将缓存需求降低8倍；(3) 量化技术将KV缓存从fp16压缩到int8甚至int4，牺牲少量精度换取2-4倍的容量提升。这些优化使得在消费级GPU上运行长上下文模型成为可能，也为本文讨论的运行时操纵提供了更大的操作空间。

传统认知中，KV缓存只是性能优化手段——让自回归生成变得高效。但Yandex团队的洞察在于：KV缓存实际上承载了模型当前的完整推理状态。既然它是状态的物理载体，那么直接修改它，就等于直接干预模型的"思考过程"。

范式转变：可编程的推理状态

这一视角转变意义重大。如果我们把KV缓存视为可编程、可编辑的运行时状态，而不仅仅是缓存，就能在不重新训练模型、也不依赖笨重外部框架的前提下，动态改变模型的行为轨迹。这正是研究团队所说的"介于模型与脚手架之间"的中间层。

现有方案的局限性

研究团队提出了一个尖锐的问题：改动脚手架太过抽象，而更换或重新训练模型的成本又太高——我们是否需要一个介于两者之间的解决方案？

这个问题直指当前智能体开发的痛点：

脚手架层面：调整提示词、工具链或编排逻辑虽然灵活，但本质上是在"模型外部"施加影响，无法触及模型的内在推理动态，对交互性和实时响应的改善有限。**外部脚手架是指围绕基础模型构建的增强层，包括提示词工程（通过精心设计的指令引导模型行为）、工具调用框架（如LangChain、LlamaIndex，让模型能调用API、数据库等外部资源）、以及多智能体编排系统（通过多个专业化智能体协作解决复杂问题）。**这类方法的优势是无需修改模型本身即可快速迭代，但缺点是增加了系统复杂度，且对模型内部推理过程的控制力有限。
模型层面：微调或重训能从根本上改变能力，但代价高昂，迭代周期长，难以应对需要即时调整的交互场景

KV缓存运行时恰好填补了这一空白：它提供了一种低成本、细粒度、实时的干预能力，让开发者能够在推理进行时动态注入、修改或重组模型状态。

技术演进路径：从并发推理到异步推理

Hogwild! Inference：并发操作KV缓存

这项工作探索了让多个推理进程共享并并发操作同一KV缓存的可能性。传统的自回归生成是严格串行的，而Hogwild!的思路借鉴了并行计算中"无锁并发"的理念，允许多路推理异步协作，从而提升整体的交互效率。

**Hogwild!是2011年提出的一种无锁并行随机梯度下降算法，其核心思想是在多线程训练时允许对共享参数进行无锁并发更新——即使偶尔出现冲突覆盖，只要冲突概率足够低，算法仍能收敛且速度更快。**这种"野蛮生长"的策略牺牲了严格的一致性，换取了显著的并行加速。Yandex团队将这一理念引入推理场景，允许多个推理进程并发读写同一KV缓存，探索在可接受的冲突风险下实现更高的交互吞吐量。

**Hogwild!算法的反直觉之处在于：在多线程并发更新共享参数时，完全不使用锁机制来保证一致性。**传统并行训练会用锁或原子操作避免冲突，但这会带来显著的同步开销。Hogwild!的数学洞察是：在参数空间足够稀疏（每次更新只影响少数参数）的情况下，不同线程同时更新的参数重叠概率很低，即使偶尔发生覆盖，只要学习率设置得当，这种"噪声"反而可能起到类似随机扰动的正则化效果。实验表明，在稀疏优化问题上，Hogwild!能达到接近线性的加速比。将这一思想迁移到KV缓存操作上是大胆的尝试：允许多个推理进程并发读写同一缓存区域，接受偶尔的状态不一致，换取更高的交互吞吐量。这要求模型对KV缓存的轻微扰动具有鲁棒性——这恰好是大语言模型的一个潜在优势，因为它们在训练时就见过大量噪声数据。

AsyncReasoning：动态可中断的推理过程

AsyncReasoning进一步将异步概念引入推理过程，让模型的"思考"不再是一条僵硬的单线程流水线，而是可以被外部事件打断、插入和重组的动态过程。这为构建真正实时响应的智能体奠定了基础。

这两项工作共同验证了一个前提：KV缓存是可以被安全、有效地操纵的，而这种操纵能带来传统方法难以企及的交互能力。

技术验证：Qwen3智能体实时玩DOOM游戏

博客中最引人注目的演示，是一个基于Qwen3 27B规模模型的智能体，正在通过类似技术实时地玩DOOM游戏环境。

这个演示的价值远超"AI玩游戏"的表面趣味。**DOOM（1993年发布）是第一人称射击游戏的经典之作，也是AI研究的标准测试环境。**通过ViZDoom等开源接口，研究者可以让AI智能体在游戏中接收视觉输入（屏幕像素）、游戏状态（生命值、弹药等），并输出动作指令（移动、射击、转向）。DOOM环境对AI的挑战在于：(1)需要实时决策，延迟超过100毫秒就会影响游戏表现；(2)需要空间推理和长期规划；(3)需要处理快速变化的动态场景。

**ViZDoom自2016年发布以来已成为视觉强化学习和具身AI的标准测试平台。**它基于开源的DOOM引擎，提供了完整的Python/C++ API接口，允许研究者自定义游戏场景、奖励函数和观测空间。相比Atari游戏的2D像素环境，DOOM提供了第一人称3D视角，需要智能体进行更复杂的空间推理：判断敌人的距离和方位、规划导航路径、预测弹道轨迹。经典的ViZDoom场景包括"Health Gathering"（收集医疗包）、"Defend the Center"（防守中心点）等，每个场景都对应不同的能力测试。

**在DOOM等游戏环境中训练AI智能体传统上依赖强化学习（RL），这是一个通过试错学习最优策略的过程。**智能体与环境交互，根据获得的奖励（如击杀敌人+1分，受伤-0.5分）调整行为策略。经典的Deep Q-Network（DQN）方法通过神经网络估计每个动作的价值，逐步学会在不同状态下选择最优动作。Proximal Policy Optimization（PPO）则直接学习策略函数，平衡探索和利用。训练一个能在DOOM中导航和战斗的智能体通常需要数百万帧的游戏画面（相当于数百小时游戏时间）和数天GPU训练。而基于预训练LLM的智能体采用完全不同的路径：不从零学习，而是利用模型在训练中获得的常识（如'敌人出现在视野中时应该射击'）和推理能力。挑战在于LLM的推理延迟：标准自回归生成可能需要数百毫秒甚至数秒，而游戏需要60fps（16毫秒/帧）的响应速度。这正是KV缓存运行时优化的价值所在——通过减少不必要的重新计算，将延迟降至可接受范围。

DOOM作为经典的实时交互环境，对响应延迟极为敏感——玩家（或智能体）必须在毫秒级别做出决策与反应。一个通过操纵KV缓存运行时来驱动的智能体能够胜任这样的任务，恰恰证明了这种方法在低延迟、高交互场景下的可行性。相比围棋等回合制游戏，DOOM更能考验智能体的实时响应能力，这正是KV缓存运行时技术想要展示的核心优势。

**具身AI（Embodied AI）是指能够在物理或模拟环境中感知、决策和行动的智能系统，包括机器人、自动驾驶车辆和虚拟智能体。**与纯文本或图像处理任务不同，具身AI面临独特挑战：(1) 传感器-动作循环的实时性要求，延迟直接影响任务成功率；(2) 多模态感知整合，需融合视觉、听觉、触觉等信息；(3) 物理常识推理，理解物体间的因果关系和物理约束；(4) 长期规划与短期反应的平衡。将LLM应用于具身AI是当前前沿方向，代表性工作如PaLM-E（融合视觉和语言的机器人模型）、RT-2（视觉-语言-动作模型）等。这些系统将环境观测编码为token序列输入LLM，LLM输出动作指令或高层计划。然而标准LLM推理速度难以满足实时控制需求。Yandex展示的DOOM智能体通过运行时优化实现低延迟决策，为LLM在具身AI中的应用提供了新的技术路径。如果这一方法能推广到真实机器人系统，将显著降低部署LLM驱动的具身智能的技术门槛。

换言之，它展示了运行时设计本身，就可以成为提升智能体能力的一条独立轴线。

运行时设计：智能体能力的新维度

研究团队抛出的核心命题值得整个社区认真对待：模型的推理与运行时设计，本身是否是一个未被充分探索的智能体能力轴线？

长期以来，行业的进步叙事几乎完全围绕"更大的模型"和"更聪明的脚手架"展开。但Yandex的这一系列工作提示我们，在这两个既定维度之外，如何组织和操纵推理过程可能同样是能力提升的关键杠杆。

**将推理运行时视为独立的架构层，类似于操作系统在应用程序和硬件之间提供的抽象层。**LLM推理引擎经历了从朴素实现到高度优化的演进。早期的Hugging Face Transformers库采用直接实现，每次生成都重新计算完整注意力，适合研究但效率低下。2022年后，专门的推理引擎如vLLM、TensorRT-LLM、Text Generation Inference等出现，引入了关键优化：(1) Continuous Batching动态调度不同长度的请求，提升GPU利用率；(2) KV缓存量化和分页管理；(3) 算子融合减少内存访问；(4) FlashAttention等高效注意力实现。这些引擎将吞吐量提升了10-20倍。然而，它们将推理过程视为固定流水线，不支持动态干预。

Yandex团队提出的运行时可编程思路需要重新设计引擎架构，暴露KV缓存等内部状态为可操作的API，同时保证内存安全和性能。这类似于从静态编译器到支持热更新的运行时系统的转变，是推理系统架构的范式升级。在传统的LLM服务架构中，推理引擎主要负责批处理优化、内存管理和硬件加速，但它们将模型推理视为黑盒流程。而运行时可编程的思路打破了这个黑盒：暴露KV缓存等内部状态为可操作的接口，允许外部系统在推理过程中插入干预逻辑。这类似于数据库系统中的"触发器"机制或操作系统的"中断处理"——在特定条件下暂停正常流程，执行自定义逻辑，再恢复执行。具体到智能体应用，这意味着可以在检测到用户打断时立即清空部分缓存切换话题，或在多智能体协作中动态合并不同智能体的KV缓存实现知识共享。这种细粒度控制在传统架构中需要模型重新推理才能实现，而运行时干预可以在毫秒级完成。工程挑战在于设计稳定的干预协议，避免破坏模型的注意力模式导致输出崩溃。

如果这一方向被证实，其影响将是深远的：

成本效率：无需重训昂贵的大模型，仅通过运行时创新即可解锁新能力
实时性：为需要即时交互的应用（游戏、机器人、实时对话）打开新的可能性
可组合性：运行时层作为独立抽象，可以与不同模型、不同脚手架灵活组合

总结

将KV缓存从纯粹的性能优化手段，重新定位为"智能体运行时"，是一次重要的视角跃迁。它提醒我们，在追逐参数规模和精巧框架的同时，不应忽视推理过程本身所蕴含的巨大可塑性。

当然，这一方向仍处于早期探索阶段，实时操纵KV缓存在稳定性、通用性和工程落地上还有诸多挑战有待解决。但正如DOOM演示所暗示的那样，运行时设计或许正是连接"昂贵的模型"与"抽象的脚手架"之间那个缺失的中间层。这值得研究者与工程师投入更多关注。