待验证50% 置信基准精确时间
Holdfast 部署到 Render 的两核 CPU 上,Gemma 解释一次需 92 秒;优化后两次线上实测分别为 48 秒和 83 秒。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/18
首次发现
有效期至:2026/11/1
来源
Holdfast:用Gemma解释Webhook故障,代码做安全兜底
rss2026/10/18
涉及实体
相关事实
待验证在纯GPU推理加低并发场景下,CPU前置处理时间可能只有几十毫秒甚至更低,相对于整个请求数秒的生成时长可忽略不计71% 相似已验证一个30亿参数的Llama在CPU上每次调用耗时1到3秒,而70B模型每次40秒70% 相似待验证在同一台配备Spark CPU、限定三线程的机器上测试,Laya中位调用耗时541毫秒,Kev为756毫秒,95分位分别约607与802毫秒69% 相似待验证在约52个并发连接时系统基本100%饱和,最大每秒生成约704个token,但延迟飙升至64秒69% 相似待验证有用户在3个编程prompt测试中发现完成时间稳定在30-45秒,3.8 Flash 最多快约5秒69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1061379API
curl https://kongchang.com/api/v1/knowledge/claims/1061379MCP
get_claim(id=1061379)