待验证50% 置信事件精确时间
实测中模型加载仅耗时几秒，GPU占用从23GB降至约17GB，首次测试提示词处理耗时225ms，生成速度稳定在33.5 tok/s，总输出1500 token。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/15
首次发现
有效期至：2026/10/29
来源
GLM 5.3 Flash 本地实测：320B 模型 1-bit 量化塞进 4 张 3090
bilibili四月的尾巴_2026/10/13
涉及实体
相关事实
待验证使用16GB显存的消费级GPU时，低量化版本能完全塞进显存从而获得极佳运行速度79% 相似待验证测试者用双4090（48GB显存）工作站运行20.7B稠密模型，每秒生成27.6个Token，仅比矮星略快，但参数量小10倍以上77% 相似待验证以70B的BF16模型为例，产生一个token需读入约140GB权重，打满H100的3.35TB/s显存带宽时每token延迟至少42毫秒，理论TPS上限约24 token/秒77% 相似待验证BF16 配置（两张 48GB GPU）下，解码速度从 1K 的 25.1 tok/s 到 128K 的 23.9 tok/s，几乎无衰减76% 相似待验证云端API通常能达到每秒数十到上百个token的输出速度，而消费级GPU运行27B模型速度往往只有每秒10-30个token76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1036001API
curl https://kongchang.com/api/v1/knowledge/claims/1036001MCP
get_claim(id=1036001)