待验证50% 置信基准精确时间
两档量化模型实测：IQ2_XXS短问答48、长文63 Token/s；IQ3_XXS短问答30、长文39 Token/s，显存占用约16.44G，激活10138个专家，IQ2比IQ3快约6成
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证IQ2_XXS以约2.06位的平均比特率编码权重，IQ3_S约3.44位，Q4_K_M约4.83位71% 相似待验证微调后的406M模型在测试集上取得36.33 ROUGE-1，作者自建的1.2B系统为35.41 ROUGE-1，两者在统计意义上无法被区分67% 相似待验证MoE架构中Mixtral 8x7B模型总参数46.7B,但每个token仅激活约12.9B参数(2个专家),推理成本接近13B参数的稠密模型,性能可媲美70B级别66% 相似待验证Phi-2拥有2.7B参数，在多项基准测试中能媲美体量大出数倍的模型66% 相似待验证Strata速度表中128k上下文下Q2_0（2比特）为65.1 token/s，IQ2_XS为52，4k短上下文下IQ3_XXS为65.665% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978738API
curl https://kongchang.com/api/v1/knowledge/claims/978738MCP
get_claim(id=978738)