待验证50% 置信决策规则精确时间
要跑出文中的速度，需要至少 128 块 GPU 的企业级部署。
1
来源数
50%
置信度
长期有效
时效性
2026/10/25
首次发现
来源
涉及实体
相关事实
待验证将上下文从 128K 压缩到 32K，同一张 GPU 可服务的并发用户数可能翻两番，存在吞吐量与上下文长度之间的权衡75% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。72% 相似待验证GPT-OSS 120B需要大于80GB显存（如H100 GPU）才能运行72% 相似待验证全精度视频扩散模型推理通常需要24GB以上VRAM的GPU，而0.4MP配10步Turbo加速可能将显存需求降至12-16GB级别72% 相似待验证云端API通常能达到每秒数十到上百个token的输出速度，而消费级GPU运行27B模型速度往往只有每秒10-30个token71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1095684API
curl https://kongchang.com/api/v1/knowledge/claims/1095684MCP
get_claim(id=1095684)