finish_reason
LLM API响应中标识模型停止生成原因的字段,常见取值包括自然结束(stop/end_turn)、长度截断(length/max_tokens)、内容过滤(content_filter/SAFETY)等,用于区分模型是否正常完成输出
时间轴 (近 90 天)
finish_reason 为 length 或 MAX_TOKENS 类的值意味着模型被强制打断,而非主动收尾
作者 Serguey Asael Shinder 建议在每一次 LLM 调用后读取停止原因,就像读取 HTTP 状态码一样
应将 finish_reason 与调用成本记录在一起并绘制在同一张监控图上以提升可观测性
流式输出配合增量校验可在检测到 finish_reason: length 时立即触发告警或重试,而不必等整个响应返回
应只缓存finish_reason为stop或tool_calls的响应,被length截断或出错的响应不应缓存
大语言模型 API 返回响应时通常附带 finish_reason 字段,常见取值包括 stop、length、tool_calls
全部知识事实 (6)
finish_reason 为 length 或 MAX_TOKENS 类的值意味着模型被强制打断,而非主动收尾
50%待验证作者 Serguey Asael Shinder 建议在每一次 LLM 调用后读取停止原因,就像读取 HTTP 状态码一样
50%待验证应将 finish_reason 与调用成本记录在一起并绘制在同一张监控图上以提升可观测性
50%待验证流式输出配合增量校验可在检测到 finish_reason: length 时立即触发告警或重试,而不必等整个响应返回
50%待验证应只缓存finish_reason为stop或tool_calls的响应,被length截断或出错的响应不应缓存
50%待验证大语言模型 API 返回响应时通常附带 finish_reason 字段,常见取值包括 stop、length、tool_calls
50%