待验证50% 置信基准精确时间
长上下文对生成速度影响很小：4K 上下文后每个输出 token 中位耗时 7.6 ms，256K 之后是 8.3 ms；但首次读 128K token 的 prompt 要 18.33 秒，因此 prefix caching 很关键。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
763B MoE 塞进两张 96GB 显卡：闲置专家丢进主机内存
rss2026/10/16
涉及实体
相关事实
待验证在8GB显卡上，token生成速度约为4.2到5 token/秒，且随着上下文变长速度从约6 token/秒下降到4.2左右76% 相似待验证在约4K输入时TTFT为23.6秒、解码46.6 tok/s；8K时47秒、41.4 tok/s；16K时1分30秒、30.8 tok/s；30K时3分15秒、31.9 tok/s75% 相似待验证通常认为单并发 100 tokens/秒以上即可实现流畅的打字机效果，约 200 tokens/秒生成 2000 字长文本仅需约 10 秒74% 相似已验证在输出（Decode）速度测试中，2 万 token 以内可达约 45 tokens/秒，3 万 token 以上骤降至约 20 tokens/秒74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044823API
curl https://kongchang.com/api/v1/knowledge/claims/1044823MCP
get_claim(id=1044823)