待验证50% 置信基准精确时间
在 CPU 单线程下,Largha-150M-v1 处理一个案例(一个状态加五个问题)约需 1.64 秒;8 线程约 8–20 决策/秒。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至:2027/1/11
来源
涉及实体
相关事实
待验证一个30亿参数的Llama在CPU上每次调用耗时1到3秒,而70B模型每次40秒75% 相似待验证在同一台配备Spark CPU、限定三线程的机器上测试,Laya中位调用耗时541毫秒,Kev为756毫秒,95分位分别约607与802毫秒72% 相似待验证使用llama.cpp运行IQ3_XXS量化模型时,输出速度仅为15 tok/s,提示处理为100-120 tok/s,而自研引擎将同样量化提升到约65 tok/s输出、430 tok/s提示处理,接近4倍性能提升72% 相似待验证首次完整运行耗时 22.9 秒,12 个并行 Jev 调用约 1.1 秒完成,主要性能瓶颈是每次约 700ms 且需要排队的 Postgres 查询。72% 相似待验证在M1 Max上跑27B模型处理3.2万token提示词需等待超过500秒才输出首字,而M5 Max不到一分钟(优化软件下约40秒)71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1016983API
curl https://kongchang.com/api/v1/knowledge/claims/1016983MCP
get_claim(id=1016983)