待验证50% 置信基准精确时间
跳过零值优化(利用 ReLU² 后 92.5% 神经元为零,按 16 神经元组读取 down 权重)将速度从 6.6 tok/s 提升至 7.3-7.6 tok/s,提升约 12%。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至:2027/1/15
来源
8GB显卡跑120B Nemotron:跳过零值,找真瓶颈
rss2026/10/17
涉及实体
相关事实
引用此条事实
Stable URI
https://kongchang.com/claim/1053039API
curl https://kongchang.com/api/v1/knowledge/claims/1053039MCP
get_claim(id=1053039)