概念最大生成长度
max tokens
大模型调用侧的超参数,用于限制模型单次生成的最大Token数量,控制输出长度与成本
时间轴 (近 90 天)
10月18日
常见超参数包括 temperature(控制输出随机性,越低越确定)、max tokens(限制生成长度)、top_p 等。
待验证50%
10月16日
LLM 输出残缺 JSON 的最常见来源之一是模型设有最大输出长度(max tokens),超出后被截断,导致括号和引号不闭合。
待验证50%
大模型调用侧的超参数,用于限制模型单次生成的最大Token数量,控制输出长度与成本
常见超参数包括 temperature(控制输出随机性,越低越确定)、max tokens(限制生成长度)、top_p 等。
LLM 输出残缺 JSON 的最常见来源之一是模型设有最大输出长度(max tokens),超出后被截断,导致括号和引号不闭合。