待验证50% 置信权衡取舍精确时间
并发场景下多个请求会平均分摊生成速度,例如单请求40 token/s时4并发下每个约10 token/s
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/26
首次发现
有效期至:2026/12/25
来源
涉及实体
相关事实
待验证长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出,共同解码窗口总吞吐每秒214.85个Token,每请求约26.86,但窗口只有约2.28秒且预填充串行或交错76% 相似待验证速率限制通常以每分钟或每天请求次数计量,Token配额则按输入加输出的文本量累计76% 相似待验证通常认为单并发 100 tokens/秒以上即可实现流畅的打字机效果,约 200 tokens/秒生成 2000 字长文本仅需约 10 秒74% 相似待验证切换到 Max 后平均 token 飙升到 5000(超过 10 倍),平均耗时涨到 50 秒,最慢响应达到 600 秒72% 相似待验证本地模型推理速度约1-10 tokens/秒,而云端API可达50-150 tokens/秒72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/952596API
curl https://kongchang.com/api/v1/knowledge/claims/952596MCP
get_claim(id=952596)