[控场AI]
公司

Atlarix

AI 编程智能体开发团队,构建具备 Ask/Build 模式的 AI 编程助手,关注 Prompt 缓存等推理优化

时间轴 (近 90 天)

10月18日

Atlarix团队的Build模式因将携带缓存断点的稳定头与每轮变化的请求文本合并为同一块,导致每条消息都重写整个缓存(约19,000 Token)。

待验证50%
10月18日

团队通过对比同一对话中连续两个真实请求体,发现第一个差异出现在24,000字符系统块的第22,966个字符处(包含用户请求的<user_context>)。

待验证50%
10月18日

修复方案是将Build提示拆分为不含每消息变化内容的缓存部分和独立发送的每轮尾块,提示词文字本身未改动。

待验证50%
10月18日

修复前消息2和3的缓存读取为0,每条缓存写入约19,600 Token。

待验证50%
10月18日

修复后,对于每条消息的固定部分,在Claude上的成本比修复前便宜约15倍。

待验证50%
10月18日

该缓存修复已随Atlarix 15.9版本发布。

待验证50%

全部知识事实 (6)

来源文章