max_tokens
大语言模型 API 中的参数,指定生成响应时使用的最大 token 数量,包括思维和输出 token
核心事实
时间轴 (近 90 天)
推理模型产生的 reasoning tokens 与最终输出共享同一个 max_tokens 预算,即便可见回复为空字符串也会照常计费。
在 max_tokens 设为 16 的测试中,Gemini 2.5 Flash-Lite 报告了 12 个 reasoning tokens,可见回复为空。
max_tokens 是模型单次回复可生成的最大 token 数量,同时影响延迟与费用
Claude Code 对 max_tokens 错误的恢复上限为三次尝试,常量名为 MAX_OUTPUT_TOKENS_RECOVERY_LIMIT = 3。
temperature、top_p、max_tokens 在多数模型上通用,但某些推理模型不接受 temperature,或对 max_tokens 有特殊语义。
上下文窗口是模型单次调用能接纳的输入加输出总 token 上限,属于模型能力边界;max_tokens 是应用主动施加的输出长度上限,是成本与延迟控制阀,二者常被混淆。
按 token 计费的模型存在一个格式错误的 prompt 意外生成大量 token 的风险,工程防护可通过 max_tokens 硬上限、客户端 prompt 长度校验、API 调用超时守卫三层措施实现。
设置 max_tokens 时应留出真实余量并在接近上限时触发告警,因为缓慢增长是撞墙的典型路径
finish_reason 为 length 或 MAX_TOKENS 类的值意味着模型被强制打断,而非主动收尾
当输出被 max_tokens 截断时,约束解码层会随之中止,留下结构残缺的响应
还有 1 条时间轴事件
全部知识事实 (11)
推理模型的思考 token 通常会计入费用,设置 token 预算上限可避免单次请求成本失控
65%待验证在 max_tokens 设为 16 的测试中,Gemini 2.5 Flash-Lite 报告了 12 个 reasoning tokens,可见回复为空。
50%待验证推理模型产生的 reasoning tokens 与最终输出共享同一个 max_tokens 预算,即便可见回复为空字符串也会照常计费。
50%待验证max_tokens 是模型单次回复可生成的最大 token 数量,同时影响延迟与费用
50%待验证Claude Code 对 max_tokens 错误的恢复上限为三次尝试,常量名为 MAX_OUTPUT_TOKENS_RECOVERY_LIMIT = 3。
50%待验证temperature、top_p、max_tokens 在多数模型上通用,但某些推理模型不接受 temperature,或对 max_tokens 有特殊语义。
50%待验证按 token 计费的模型存在一个格式错误的 prompt 意外生成大量 token 的风险,工程防护可通过 max_tokens 硬上限、客户端 prompt 长度校验、API 调用超时守卫三层措施实现。
50%待验证上下文窗口是模型单次调用能接纳的输入加输出总 token 上限,属于模型能力边界;max_tokens 是应用主动施加的输出长度上限,是成本与延迟控制阀,二者常被混淆。
50%待验证finish_reason 为 length 或 MAX_TOKENS 类的值意味着模型被强制打断,而非主动收尾
50%待验证设置 max_tokens 时应留出真实余量并在接近上限时触发告警,因为缓慢增长是撞墙的典型路径
50%待验证当输出被 max_tokens 截断时,约束解码层会随之中止,留下结构残缺的响应
50%