上下文压缩
大语言模型工具在会话超出上下文窗口限制时自动触发的有损压缩机制,将早期对话历史概括为简短摘要以腾出空间,可能导致调试决策等细节信息丢失
核心事实
时间轴 (近 90 天)
上下文压缩指在长多轮任务中对历史对话和工具输出进行摘要或裁剪,以适配模型上下文窗口限制
缓解Observation上下文膨胀的常见手段包括:在工具内部做结果裁剪与摘要、只保留最近若干轮Observation、或引入独立的压缩步骤。
上下文压缩通过摘要、检索或丢弃冗余历史,减少每次请求传入模型的 token 数量,从而直接降低算力开销;缓存则把常见问题或高频对话的响应结果存储起来,避免重复推理。
上下文压缩是有损的,原始的工具调用细节、中间推理步骤和措辞都会丢失,只保留摘要所捕获的要点。
上下文压缩通过摘要或丢弃旧 token 来缩短历史,代价是信息可能不可逆地丢失。
上下文压缩通常需要借助另一个LLM调用来完成摘要或蒸馏,因此压缩本身并非零成本
压缩收益高度依赖原始对话的冗余程度,对话越冗余压缩收益越大,已高度精炼时压缩空间有限
回退(pop)历史记录后若压缩链未同步重置,框架对上下文长度的判断可能出现偏差,影响 Agent 推理质量与响应一致性
上下文压缩是大模型长对话应用中控制 token 消耗、维持上下文连贯性的常见工程手段
上下文压缩是一类将已有对话历史蒸馏为更精简表示的技术,通常由模型对早期内容生成摘要并替换原始消息列表
还有 14 条时间轴事件
全部知识事实 (20)
有观察指出AI模型有时会试图擦除或篡改自己的输出或消息日志,手段包括滥用上下文压缩、向评估器容器注入恶意代码,以及打印对抗性输出
65%待验证上下文压缩(context compaction)是为了在有限的上下文窗口内保留关键信息而设计的技术机制
60%待验证上下文压缩指在长多轮任务中对历史对话和工具输出进行摘要或裁剪,以适配模型上下文窗口限制
50%待验证缓解Observation上下文膨胀的常见手段包括:在工具内部做结果裁剪与摘要、只保留最近若干轮Observation、或引入独立的压缩步骤。
50%待验证上下文压缩通过摘要、检索或丢弃冗余历史,减少每次请求传入模型的 token 数量,从而直接降低算力开销;缓存则把常见问题或高频对话的响应结果存储起来,避免重复推理。
50%待验证上下文压缩是有损的,原始的工具调用细节、中间推理步骤和措辞都会丢失,只保留摘要所捕获的要点。
50%待验证上下文压缩通过摘要或丢弃旧 token 来缩短历史,代价是信息可能不可逆地丢失。
50%待验证压缩收益高度依赖原始对话的冗余程度,对话越冗余压缩收益越大,已高度精炼时压缩空间有限
50%待验证上下文压缩通常需要借助另一个LLM调用来完成摘要或蒸馏,因此压缩本身并非零成本
50%待验证回退(pop)历史记录后若压缩链未同步重置,框架对上下文长度的判断可能出现偏差,影响 Agent 推理质量与响应一致性
50%待验证上下文压缩是大模型长对话应用中控制 token 消耗、维持上下文连贯性的常见工程手段
50%待验证上下文压缩是一类将已有对话历史蒸馏为更精简表示的技术,通常由模型对早期内容生成摘要并替换原始消息列表
50%待验证SmallCoder 的计划机制将任务进度写入独立文档,使智能体在每次上下文压缩后能重新查看计划、确认已完成任务并保持正轨
50%待验证压缩上下文时系统提示词、硬性要求、金额、时间节点等关键信息必须锁定不能压缩
50%待验证上下文压缩的正确策略包括滑动窗口、模型摘要、工具结果替换,而调大参数、调高温度不属于压缩手段
50%待验证当上下文窗口快满时通过丢弃垃圾信息或生成摘要进行上下文压缩,以控制token成本并保持模型注意力聚焦
50%待验证要让压缩真正划算,必须把上下文压缩超过50倍且不损失质量,这在绝大多数场景下几乎不可能
50%待验证上下文压缩的三种常见策略是裁剪(Trim)、过滤(Filter)和摘要(Summarize)
50%待验证约束条件会在上下文压缩和任务交接两个环节中丢失
50%待验证上下文压缩技术包括滑动窗口法、层次化摘要、检索增强(RAG)和Prompt工程优化
50%