公司
Atlarix
AI 编程智能体开发团队,构建具备 Ask/Build 模式的 AI 编程助手,关注 Prompt 缓存等推理优化
时间轴 (近 90 天)
10月18日
Atlarix团队的Build模式因将携带缓存断点的稳定头与每轮变化的请求文本合并为同一块,导致每条消息都重写整个缓存(约19,000 Token)。
待验证50%
10月18日
团队通过对比同一对话中连续两个真实请求体,发现第一个差异出现在24,000字符系统块的第22,966个字符处(包含用户请求的<user_context>)。
待验证50%
10月18日
修复方案是将Build提示拆分为不含每消息变化内容的缓存部分和独立发送的每轮尾块,提示词文字本身未改动。
待验证50%
10月18日
修复前消息2和3的缓存读取为0,每条缓存写入约19,600 Token。
待验证50%
10月18日
修复后,对于每条消息的固定部分,在Claude上的成本比修复前便宜约15倍。
待验证50%
10月18日
该缓存修复已随Atlarix 15.9版本发布。
待验证50%
全部知识事实 (6)
待验证
修复方案是将Build提示拆分为不含每消息变化内容的缓存部分和独立发送的每轮尾块,提示词文字本身未改动。
50%待验证修复前消息2和3的缓存读取为0,每条缓存写入约19,600 Token。
50%待验证修复后,对于每条消息的固定部分,在Claude上的成本比修复前便宜约15倍。
50%待验证Atlarix团队的Build模式因将携带缓存断点的稳定头与每轮变化的请求文本合并为同一块,导致每条消息都重写整个缓存(约19,000 Token)。
50%待验证团队通过对比同一对话中连续两个真实请求体,发现第一个差异出现在24,000字符系统块的第22,966个字符处(包含用户请求的<user_context>)。
50%待验证该缓存修复已随Atlarix 15.9版本发布。
50%