[控场AI]
概念

chat_template_kwargs

vLLM中用于向Jinja对话模板传递额外变量的参数,可通过enable_thinking开关控制是否生成思考内容

时间轴 (近 90 天)

10月19日

在vLLM端点,通过chat_template_kwargs: { enable_thinking: false }关闭思考耗时65秒,而发送reasoning_effort none耗时2秒。

待验证50%
10月19日

最终形成的端点适配策略是:标准端点发送reasoning_effort: 'none';vLLM在值被拒后改用chat_template_kwargs;流式返回空的中转端点则完全不发送推理参数。

待验证50%

全部知识事实 (2)

来源文章