待验证50% 置信基准精确时间

SHADOW作为Qwen3-32B的draft model，通过推测解码把llama.cpp生成速度从19.7提到28.5 tok/s

1

来源数

50%

置信度

长期有效

时效性

2026/9/15

首次发现

来源

19.8MB的LLM：44M参数模型如何在CPU上跑出1900 tok/s

涉及实体

SHADOW-50Mmodel Qwen3-32Bmodel llama.cppproduct

相关事实

待验证RTX 4090的理论FP16算力为330 TFLOPS,对于7B FP16模型的Decode实际速度通常在50-60 tokens/s69% 相似已验证实测中Qwen3 27B在未开启NVLink的4张魔改2080Ti上生成速度约为40多token/秒67% 相似待验证CSRT追踪器由Lukezic等人于CVPR 2017提出，速度约为25fps64% 相似已验证Qwen2.5-Coder-32B在RTX 4090上以Q4量化运行，推理速度可达每秒40-60个token64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/922681

API

curl https://kongchang.com/api/v1/knowledge/claims/922681

MCP

get_claim(id=922681)