概念Cache Engineering
缓存工程
一种针对LLM智能体长轨迹推理的优化思路,通过直接操控活跃KV缓存(如丢弃或重定位缓存条目)来避免重新预填充,从而降低长上下文任务的成本和延迟。
时间轴 (近 90 天)
10月21日
一篇论文提出了“缓存工程”(Cache Engineering)的新思路:让智能体直接操控活跃KV缓存,而无需修改轨迹或重新预填充。
待验证50%
10月21日
缓存工程像管理内存一样管理KV缓存,适用于需要多轮工具调用、长轨迹规划的任务。
待验证50%
一种针对LLM智能体长轨迹推理的优化思路,通过直接操控活跃KV缓存(如丢弃或重定位缓存条目)来避免重新预填充,从而降低长上下文任务的成本和延迟。
一篇论文提出了“缓存工程”(Cache Engineering)的新思路:让智能体直接操控活跃KV缓存,而无需修改轨迹或重新预填充。
缓存工程像管理内存一样管理KV缓存,适用于需要多轮工具调用、长轨迹规划的任务。