Unverified50% confidenceTradeoffExact time
高聚合吞吐往往以更大的批次为代价，而大批次会推高单请求的首 token 延迟（TTFT）
1
Sources
50%
Confidence
Long-term
Relevance
9/24/2026
First Seen
Sources
Related Entities
Related Claims
Unverified追求极致吞吐往往以牺牲单请求延迟为代价，吞吐量与延迟指标相互制约75% similarUnverified通过增大batch size提升吞吐通常会牺牲单请求延迟71% similarVerified超长上下文窗口的KV缓存显存占用随上下文长度线性增长，导致推理延迟和成本显著上升70% similarUnverified多轮验证迭代会带来延迟增加，4—7次串行调用在实时性要求高的场景可能造成难以接受的等待时间68% similarUnverified现代大模型推理通常采用批处理技术提高GPU利用率，高峰期批处理队列积压会导致首个Token等待时间（TTFT）变长68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/947009API
curl https://kongchang.com/api/v1/knowledge/claims/947009MCP
get_claim(id=947009)