概念
tokenizer_config.json
Hugging Face 生态中控制分词器行为的配置文件，定义文本如何被切分为令牌，包括预分词器和解码器设置
时间轴 (近 90 天)
10月15日
AREX-2 的 tokenizer_config.json 中预分词器和解码器设置与 Qwen3.8-27B 不同，可能导致 agent 运行数小时后出现乱码的工具调用。
待验证50%
9月27日
排查模板问题的基本步骤是在 HuggingFace 模型页面或 tokenizer_config.json 中确认官方 chat template，并与实际部署格式逐字对比
待验证50%