待验证50% 置信基准精确时间
原配置的预填充速度低于200 tokens/秒，原因之一是micro-batch size设为128；将micro-batch提升到1024并把部分专家层移回GPU后，预填充速度提升到约800 tokens/秒。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/29
首次发现
有效期至：2027/1/27
来源
单卡12G跑本地实时语音AI：35B模型+语音对话全流程
bilibili枫叶边城2026/10/29
涉及实体
相关事实
待验证该配置下35B模型实测单人最高速度约80 Tokens/秒，并发可达500 Tokens/秒以上73% 相似待验证运行Qwen3-Next-Flash（Autoround W4A16量化）时，预填充速度约1.3k tokens/s，生成速度达70 tokens/s（代码）/60 tokens/s（散文），支持128k+长上下文71% 相似待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型71% 相似待验证M3 Ultra运行四位DeepSeek R1时，1000 token上下文约每秒生成19个token占用392GB，16000 token时降到约每秒15个占用410GB71% 相似待验证Windows上运行该模型比Linux慢约20%，短上下文约16 tokens/s，长上下文约10 tokens/s70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1112086API
curl https://kongchang.com/api/v1/knowledge/claims/1112086MCP
get_claim(id=1112086)