[控场AI]
概念助手预填充 / assistant_prefill

Assistant Prefill

部分LLM API支持的功能,允许在请求中预先填充助手回复的前缀内容,使模型从指定前缀处继续生成,常用于流式中断续写等场景

时间轴 (近 90 天)

10月11日

Anthropic的Claude API支持assistant prefill,通过在messages数组最后一条消息角色设为assistant且不含stop_reason实现

待验证50%
10月11日

使用prefill续写不保证内容与原始采样路径完全一致,因随机种子和KV cache状态已不同

待验证50%

全部知识事实 (2)

来源文章