[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
游标断点续写 / Streaming Continuation / 前缀游标续写
流式推理断点续写
一种LLM流式推理的运维优化技术,通过在流式输出过程中持续记录前缀游标(cursor),在请求被抢占或中断后仅续写剩余部分,避免重复生成已输出token导致的重复计费问题
来源文章
流式中断不是免费重试:用游标断点续写省下重复token成本
10月11日