待验证50% 置信事实精确时间

Prefill的计算量与输入长度呈近似线性到平方关系，是推理延迟的主要来源之一

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

Cache-to-Cache：让大模型跳过文本直接"心灵对话"

涉及实体

相关事实

待验证推理延迟公式为：延迟 = (起草时间 + 验证时间) ÷ 每轮被接受的token数74% 相似待验证自回归解码的缺点是推理速度受序列长度线性制约69% 相似待验证代数哈希的响应时间在统计上高度稳定，其P99尾延迟可被严格数学界定，而神经网络推理的延迟随输入复杂度、KV缓存状态和批处理大小动态波动68% 相似待验证在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感68% 相似待验证稀疏激活架构下推理阶段的FLOPs与激活参数规模线性相关而非与总参数规模相关，从而降低单次推理的计算资源消耗和延迟68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/933225

API

curl https://kongchang.com/api/v1/knowledge/claims/933225

MCP

get_claim(id=933225)