概念
chat_template_kwargs
vLLM中用于向Jinja对话模板传递额外变量的参数,可通过enable_thinking开关控制是否生成思考内容
时间轴 (近 90 天)
10月19日
在vLLM端点,通过chat_template_kwargs: { enable_thinking: false }关闭思考耗时65秒,而发送reasoning_effort none耗时2秒。
待验证50%
10月19日
最终形成的端点适配策略是:标准端点发送reasoning_effort: 'none';vLLM在值被拒后改用chat_template_kwargs;流式返回空的中转端点则完全不发送推理参数。
待验证50%