待验证50% 置信预测精确时间
百万 token 输出的耗时可能达到数分钟级别，集成时需要设计异步调用和进度反馈机制。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证该测试中预填充速度固定在约 500~600 token/s，首 token 耗时随输入长度线性增加76% 相似待验证并发场景下多个请求会平均分摊生成速度，例如单请求40 token/s时4并发下每个约10 token/s75% 相似待验证速率限制通常以每分钟或每天请求次数计量，Token配额则按输入加输出的文本量累计75% 相似待验证通常认为单并发 100 tokens/秒以上即可实现流畅的打字机效果，约 200 tokens/秒生成 2000 字长文本仅需约 10 秒74% 相似待验证对于500 Token的回答，流式输出可以让用户在首Token延迟（约500ms）后就开始看到内容，而非等待完整生成（约10秒）74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1024316API
curl https://kongchang.com/api/v1/knowledge/claims/1024316MCP
get_claim(id=1024316)