待验证50% 置信权衡取舍精确时间
在延续协议下,每次延续都会重新发送提示词加上已解码内容,因此累加的输入 Token 增长速度远快于上下文增长。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
已验证API计费同时涵盖输入Token和输出Token,随着对话延伸,每次请求携带的输入Token会线性增长74% 相似已验证连续批处理(Continuous Batching)采用迭代级别的调度粒度,每完成一个 token 生成便可移出已完成请求并插入新请求72% 相似待验证自动提示词调优会消耗大量 token 在模型来回反复的自我修正过程中,带来额外的 API 调用、token 和延迟开销71% 相似待验证Prompt缓存命中要求请求前缀与缓存写入时字节级完全一致,系统提示词中混入时间戳或会话ID等动态内容会导致缓存频繁失效68% 相似待验证要最大化缓存命中率,需将稳定不变的内容(系统提示、文件内容)置于Prompt前缀,动态内容追加在末尾68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1021147API
curl https://kongchang.com/api/v1/knowledge/claims/1021147MCP
get_claim(id=1021147)