[控场AI]
概念游标断点续写 / Streaming Continuation / 前缀游标续写

流式推理断点续写

一种LLM流式推理的运维优化技术,通过在流式输出过程中持续记录前缀游标(cursor),在请求被抢占或中断后仅续写剩余部分,避免重复生成已输出token导致的重复计费问题

来源文章