待验证50% 置信事实精确时间
Delta Tokenizer是针对LLM推理CPU前端分词瓶颈设计的方案，核心理念是只对当前请求与同一会话上一请求之间的delta做分词。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
Delta Tokenizer：会话增量与多核并行如何让长提示词分词提速40倍
rss2026/10/14
涉及实体
相关事实
待验证Delta Tokenizer使用共享CPU池同时管理长请求的分块和短的增量更新，使一次增量更新可插在两个分块之间执行，而不必排在整段长任务之后。70% 相似待验证Delta底层由名为DeltaDB的系统追踪所有变更，可选中历史消息执行revert conversation to here撤销该节点之后的所有操作，同时作用于对话上下文和代码本身65% 相似待验证Chat Completions API 的流式协议以 delta 增量片段为单位推送，消费端只需按顺序拼接文本即可。62% 相似待验证上下文压缩是大模型长对话应用中控制 token 消耗、维持上下文连贯性的常见工程手段62% 相似已验证主流大模型API按输入Token与输出Token分别计费，输入Token通常包含整个对话历史（即上下文）61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038159API
curl https://kongchang.com/api/v1/knowledge/claims/1038159MCP
get_claim(id=1038159)