已过期50% 置信基准精确时间
一个800万参数(8.3M)的沙盒引擎在2019年发布的6核桌面CPU上跑出约2000 tokens/秒的解码速度
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/17
首次发现
有效期至:2026/10/15(已过期)
来源
相关事实
部分验证对于7B参数模型的4-bit量化版本,通常需要至少8GB内存和现代多核CPU即可流畅运行,推理速度约为每秒10-30个token69% 相似待验证Apple M2/M3 芯片采用统一内存架构(UMA),llama.cpp 通过 Metal API 可达到约 30-50 tokens/秒的 7B 模型推理速度67% 相似待验证以 Llama-3 70B 为例,在 A100 80GB GPU 上处理 32K token 的预填充阶段约需 800-1200ms,而处理 2K token 仅需约 50ms67% 相似待验证在预填充速度测试中,Halo约650 tokens/s,Spark约2000 tokens/s,Spark快了将近三倍67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/538383API
curl https://kongchang.com/api/v1/knowledge/claims/538383MCP
get_claim(id=538383)