概念助手预填充 / assistant_prefill
Assistant Prefill
部分LLM API支持的功能,允许在请求中预先填充助手回复的前缀内容,使模型从指定前缀处继续生成,常用于流式中断续写等场景
时间轴 (近 90 天)
10月11日
Anthropic的Claude API支持assistant prefill,通过在messages数组最后一条消息角色设为assistant且不含stop_reason实现
待验证50%
10月11日
使用prefill续写不保证内容与原始采样路径完全一致,因随机种子和KV cache状态已不同
待验证50%