待验证50% 置信基准精确时间

对于BERT-base模型推理会话初始化通常耗时数百毫秒，重复执行会使延迟增加1-2个数量级

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

14倍提速：Manticore如何重构ONNX嵌入推理路径

hackernewshackernews2026/7/3

相关事实

已验证一次 LLM 模型推理动辄数百毫秒甚至数秒，而确定性代码的执行时间通常在微秒级76% 相似待验证编排器场景下模型的调用次数可能是单轮对话的3-10倍71% 相似待验证gemma:2b 模型在普通机器上本地推理可能需要几秒到十几秒的响应时间71% 相似待验证流式推理将输入切分为时间帧（通常20-80毫秒一帧），模型对持续到来的每一帧持续更新内部状态并输出增量结果71% 相似待验证在实测中，Dify问题分类器一次分类耗时约11秒，因为执行速度取决于大模型的响应71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/176728

API

curl https://kongchang.com/api/v1/knowledge/claims/176728

MCP

get_claim(id=176728)