#缓存工程

缓存工程：突破LLM智能体长任务瓶颈

LLM智能体长轨迹导致KV缓存成本飙升，缓存工程提出drop和repos操作直接控制活跃缓存，避免重新预填充。AKV引擎实现吞吐量提升1.2倍、延迟降低1.5倍，成本降低27.7%。