[控场AI]
概念

max_tokens

大语言模型 API 中的参数,指定生成响应时使用的最大 token 数量,包括思维和输出 token

核心事实

时间轴 (近 90 天)

10月15日

推理模型产生的 reasoning tokens 与最终输出共享同一个 max_tokens 预算,即便可见回复为空字符串也会照常计费。

待验证50%
10月15日

在 max_tokens 设为 16 的测试中,Gemini 2.5 Flash-Lite 报告了 12 个 reasoning tokens,可见回复为空。

待验证50%
10月13日

max_tokens 是模型单次回复可生成的最大 token 数量,同时影响延迟与费用

待验证50%
10月13日

Claude Code 对 max_tokens 错误的恢复上限为三次尝试,常量名为 MAX_OUTPUT_TOKENS_RECOVERY_LIMIT = 3。

待验证50%
10月12日

temperature、top_p、max_tokens 在多数模型上通用,但某些推理模型不接受 temperature,或对 max_tokens 有特殊语义。

待验证50%
10月12日

上下文窗口是模型单次调用能接纳的输入加输出总 token 上限,属于模型能力边界;max_tokens 是应用主动施加的输出长度上限,是成本与延迟控制阀,二者常被混淆。

待验证50%
10月12日

按 token 计费的模型存在一个格式错误的 prompt 意外生成大量 token 的风险,工程防护可通过 max_tokens 硬上限、客户端 prompt 长度校验、API 调用超时守卫三层措施实现。

待验证50%
10月12日

设置 max_tokens 时应留出真实余量并在接近上限时触发告警,因为缓慢增长是撞墙的典型路径

待验证50%
10月12日

finish_reason 为 length 或 MAX_TOKENS 类的值意味着模型被强制打断,而非主动收尾

待验证50%
10月11日

当输出被 max_tokens 截断时,约束解码层会随之中止,留下结构残缺的响应

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

已验证

推理模型的思考 token 通常会计入费用,设置 token 预算上限可避免单次请求成本失控

65%
待验证

在 max_tokens 设为 16 的测试中,Gemini 2.5 Flash-Lite 报告了 12 个 reasoning tokens,可见回复为空。

50%
待验证

推理模型产生的 reasoning tokens 与最终输出共享同一个 max_tokens 预算,即便可见回复为空字符串也会照常计费。

50%
待验证

max_tokens 是模型单次回复可生成的最大 token 数量,同时影响延迟与费用

50%
待验证

Claude Code 对 max_tokens 错误的恢复上限为三次尝试,常量名为 MAX_OUTPUT_TOKENS_RECOVERY_LIMIT = 3。

50%
待验证

temperature、top_p、max_tokens 在多数模型上通用,但某些推理模型不接受 temperature,或对 max_tokens 有特殊语义。

50%
待验证

按 token 计费的模型存在一个格式错误的 prompt 意外生成大量 token 的风险,工程防护可通过 max_tokens 硬上限、客户端 prompt 长度校验、API 调用超时守卫三层措施实现。

50%
待验证

上下文窗口是模型单次调用能接纳的输入加输出总 token 上限,属于模型能力边界;max_tokens 是应用主动施加的输出长度上限,是成本与延迟控制阀,二者常被混淆。

50%
待验证

finish_reason 为 length 或 MAX_TOKENS 类的值意味着模型被强制打断,而非主动收尾

50%
待验证

设置 max_tokens 时应留出真实余量并在接近上限时触发告警,因为缓慢增长是撞墙的典型路径

50%
待验证

当输出被 max_tokens 截断时,约束解码层会随之中止,留下结构残缺的响应

50%

来源文章