待验证50% 置信基准精确时间
一个30亿参数的Llama在CPU上每次调用耗时1到3秒，而70B模型每次40秒
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/28
首次发现
有效期至：2026/12/27
来源
涉及实体
相关事实
待验证首次加载时间取决于硬件配置，配置好的机器可能几十秒完成，性能一般的机器可能需要一到三分钟77% 相似待验证在同一台配备Spark CPU、限定三线程的机器上测试，Laya中位调用耗时541毫秒，Kev为756毫秒，95分位分别约607与802毫秒77% 相似待验证使用40亿参数蒸馏模型绘图时，Mac mini约每12秒生成一张（每分钟约5张），Mac Studio约每2秒一张（每分钟约29张）75% 相似待验证在约52个并发连接时系统基本100%饱和，最大每秒生成约704个token，但延迟飙升至64秒74% 相似待验证在纯GPU推理加低并发场景下,CPU前置处理时间可能只有几十毫秒甚至更低,相对于整个请求数秒的生成时长可忽略不计73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/955881API
curl https://kongchang.com/api/v1/knowledge/claims/955881MCP
get_claim(id=955881)