待验证50% 置信基准精确时间

TokenRouter通过token级路由将解码吞吐提升2至64倍

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

AI研究前沿综述：自蒸馏推理、稀疏专家与机器人世界模型

涉及实体

TokenRouterproduct

相关事实

待验证解码环节的加速上限（约2.7倍）高于编码环节的加速上限65% 相似待验证KV缓存随上下文长度线性增长，增加解码阶段每步的内存读取量，是解码速度随上下文增大而下降的根本原因63% 相似待验证tokens/s指标可细分为首token延迟（TTFT）和生成速率（Generation Throughput）两个子维度62% 相似待验证在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感60% 相似待验证REMORY 存在 Token 漂移风险，一旦数据分布偏移性能会退化，需定期微调编码器并监控精确匹配率60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1003127

API

curl https://kongchang.com/api/v1/knowledge/claims/1003127

MCP

get_claim(id=1003127)