MoE-Context:让模型只读需要的上下文

MoE-Context 分块动态选择上下文,大幅提升准确率,但模型自身挑选能力仍是瓶颈。
MoE-Context 模仿人类记忆机制,将 AI Agent 的上下文分块,每一步用快速的是/否判断决定展示哪些块,其余块压缩为一行摘要且不删除。在 Qwen3-1.7B 和合成查找任务上,仅展示所需块使准确率从 93/120 提升到 119/120,掩码块与删除块效果相同。然而模型自身的块挑选准确率仅 80/120,监督线性探针可提升至 110/120 但无法迁移到第二个任务,而简单关键词搜索在该任务上表现完美。该机制还支持撤销失败尝试和无需新上下文运行子代理两种实用模式。未来需结合简单方法与学习型选择器以提升泛化能力。
AI Agent 每一步都读取全部历史,这既低效又不像人类的工作方式。我们记住当前需要的信息,其余以粗略笔记留存,需要时再回想。MoE-Context 将这一思路引入语言模型:把上下文分块,每步前用快速的是/否判断决定哪些块需要,其余块保留为一行摘要且不删除。在 Qwen3-1.7B 和合成查找任务上,仅展示所需块将准确率从 93/120 提升到 119/120,掩码块与删除块效果相同。模型自身的挑选能力是薄弱环节,监督线性探针可将其准确率从 80/120 提升到 110/120,但关键词搜索在该任务上表现完美,且探针无法迁移到第二个任务。本文还报告了两种廉价使用模式:撤销失败尝试和无需新上下文运行子代理。

为什么需要 MoE-Context
传统 AI Agent 在每一步都读取完整对话历史,这带来两大问题:一是计算成本随历史增长而线性上升,二是无关信息可能干扰模型决策。人类处理任务时并非如此——我们只关注当前相关的记忆,其余信息以模糊印象留存。MoE-Context 正是模仿这种机制,将上下文分割成块,通过动态选择机制只向模型展示当前步骤必需的块。
核心机制:分块与动态选择
MoE-Context 将上下文划分为多个块,每个步骤开始前,一个快速的是/否判断模块评估每个块是否与当前步骤相关。相关块被完整展示,其余块则被压缩为一行摘要(称为“笔记”),且不会被删除。这些笔记可以在后续步骤中被重新召回,确保信息不丢失。实现上,所有块共享一个键值缓存,隐藏块通过掩码而非移除来处理,这保证了掩码块与删除块在效果上等同。
键值缓存(KV Cache) 是 Transformer 推理中的一项关键优化:自回归生成时,模型每生成一个 token 都需要重新计算此前所有 token 的注意力,代价随序列长度呈二次增长。KV Cache 将已计算过的键(Key)和值(Value)矩阵缓存起来,后续步骤直接复用,从而把每步计算量降为与当前 token 相关的一次查询。MoE-Context 让所有块共享同一个 KV Cache,隐藏块并非从缓存中删除,而是在注意力计算时通过掩码屏蔽其 key/value 的参与。这样做的好处是块可以在后续步骤被“重新召回”而无需重新编码,撤销操作也只是翻转掩码位,成本极低。
注意力掩码(Attention Mask) 原本用于处理变长序列和因果约束,此处被扩展为一种上下文选择手段:掩码位置上的 token 对当前查询不可见,等价于不存在。因此掩码块与物理删除块在数学上效果一致,但掩码保留了随时恢复的能力。
实验结果:准确率显著提升
在笔记本电脑上使用 Qwen3-1.7B 模型和合成查找任务进行测试,仅展示所需块时,任务准确率从 93/120 提升到 119/120。这验证了“只展示必要信息”的有效性。掩码块与删除块效果相同的结论也得到确认,说明掩码机制不会引入额外信息泄露或干扰。
瓶颈:模型自身的挑选能力
模型的挑选能力成为系统薄弱环节。在相同任务上,模型自身判断的准确率仅为 80/120。研究者尝试用监督线性探针(写入空闲输出行)来改进,将准确率提升到 110/120。但该探针无法迁移到第二个任务,表明其泛化能力有限。此外,简单的关键词搜索在该任务上表现完美(120/120),提示对于某些任务,传统方法可能更有效。
线性探针(Linear Probe) 是表征学习中常用的轻量评估手段:冻结主干模型的内部表示,只在其某一层激活上训练一个线性分类器来完成下游任务。它能检验该层表示中是否已线性编码了所需信息。本文中,探针被用于预测每个上下文块是否与当前步骤相关——若探针准确率高,说明模型内部其实“知道”哪些块有用,只是生成时没有显式利用。将探针输出写入空闲的输出行,相当于把这种隐式知识外化为可执行的判断。探针无法迁移到第二个任务,说明不同任务的“相关性”在表示空间中并不共享同一线性方向,这也是学习型选择器泛化困难的一个缩影。
实用模式:撤销与子代理
块切换机制还带来两种廉价的使用模式:一是撤销失败尝试,只需重新隐藏相关块即可回退状态;二是运行子代理时无需创建新上下文,直接复用现有块。这些模式降低了复杂工作流的实现成本。
局限与未来方向
MoE-Context 展示了动态上下文选择的前景,但模型自身挑选能力的不足和探针的不可迁移性仍是挑战。未来可能需要结合关键词搜索等简单方法与学习型选择器,或探索更通用的选择策略。

相关推荐

Gemini 4 Neon评测:跑分比肩Carbon,API定价与额度解析
Google Gemini 4 Neon正式上线,跑分紧咬Carbon,API定价3/15为Hydrogen两倍。本文汇总B站UP主实测:Neon可平替90% Carbon场景,AntiGravity中额度消耗仅为Carbon三分之一,并解析订阅渠道限制与2API封号风险。

Gemini 4 Helium或将至?Google订阅限制松绑信号
Google团队成员预告发布将继续,社区推测Gemini 4 Helium(Flash Lite)或成下一款模型;订阅封禁争议获回应,产品负责人以「Soon」暗示可能开放限制。本文梳理Gemini动向、OpenAI Coding Agent与风险管理、豆包实时音视频API及算力商业动态。

AI辅助React开发实战:视频应用优化与错误处理
14年经验开发者演示如何用AI辅助优化React视频应用:通过ImageKit将视频从80MB压缩至5MB(约94%),并实现可靠的错误处理与重试机制。包含与AI协作的规划、代码理解和验证方法。