待验证50% 置信事实精确时间
大模型生成是逐Token输出的,流式输出可以让用户实时看到结果而非等待全部生成完才返回
1
来源数
50%
置信度
长期有效
时效性
2026/9/20
首次发现
来源
涉及实体
相关事实
待验证大模型服务商通常采用批处理技术提高吞吐量,连续批处理允许新请求动态插入正在处理的批次,而静态批处理需等待完整批次处理完毕71% 相似待验证FastAPI支持流式输出(SSE,Server-Sent Events),可将大模型的逐token生成结果实时推送到前端69% 相似待验证上下文窗口指大语言模型在任意时刻能够看到的全部输入与输出Token的集合,由输入Token加输出Token共同构成68% 相似待验证LangGraph 对流式输出进行了大幅增强,不仅支持 Token 级别流式输出,还支持事件级别的流式输出(节点开始执行、工具被调用、中间结果产生时实时推送事件)67% 相似待验证流式输出基于 Server-Sent Events(SSE)或 WebFlux 的 Flux 响应式流实现,模型每生成一个 Token 就立即推送给前端67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/936613API
curl https://kongchang.com/api/v1/knowledge/claims/936613MCP
get_claim(id=936613)