待验证50% 置信事实精确时间

托管API通常通过批处理提升吞吐量，但批处理会进一步拉高单次推理延迟。

1

来源数

50%

置信度

长期有效

时效性

2026/11/1

首次发现

来源

本地模型为何在Doom游戏决策中击败Jev AI API？

涉及实体

托管APIconcept 批处理concept

相关事实

待验证高吞吐通过批处理实现，会提升单位时间处理token总量但增加首字节延迟；低延迟要求小批次或不批处理，降低硬件利用率并升高每token成本77% 相似待验证频繁加载卸载模型会增加延迟，建议根据任务时长权衡显存释放功能的使用。72% 相似待验证流式转录因对推理基础设施的延迟和并发要求更高，通常按小时计价显著高于非流式方案。72% 相似待验证长上下文会显著拉高首token时间，因为prefill计算量随输入长度增长，命中缓存可以跳过大部分prefill，直接改善首token延迟。71% 相似待验证流式处理架构理论上将端到端延迟压缩至单个环节最大延迟，而非三者之和71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1123709

API

curl https://kongchang.com/api/v1/knowledge/claims/1123709

MCP

get_claim(id=1123709)