Ollama v0.34.4-rc1发布：升级XGrammar 0.2.7优化结构化输出

Ollama发布v0.34.4-rc1预览版

Ollama近日发布了v0.34.4-rc1候选版本，这是一个面向结构化输出功能的技术更新。本次版本的核心改动是将mlxrunner中的XGrammar库升级至0.2.7版本，带来了针对结构化输出场景的多项修复。

作为当前最流行的本地大模型运行框架之一，Ollama在GitHub上已累积超过18万颗星标，拥有超过1.8万次分支，是本地化部署与运行开源大语言模型的重要工具。此次由开发者jessegross标记发布的候选版本，延续了Ollama在推理可靠性方面的持续打磨。

XGrammar升级带来了什么

XGrammar是一个专注于高效、灵活结构化生成的库，被广泛用于约束大语言模型的输出格式，确保模型生成符合预定义schema（如JSON Schema）的内容。在本地推理场景中，结构化输出能力直接关系到模型能否稳定地生成可被程序解析的数据。

根据官方发布说明，升级到XGrammar 0.2.7后，主要带来了两类schema相关的修复：

类型化字典值的处理

新版本修复了针对typed dictionary values（类型化字典值）的处理问题。在实际应用中，开发者经常需要约束模型输出带有特定值类型的字典结构，例如要求某个字段必须是字符串到整数的映射。此前版本在处理这类带类型约束的字典时可能存在不符合预期的行为，本次更新对此进行了修正。

短数组的支持改进

另一项修复针对short arrays（短数组）场景。在约束生成固定长度或较短长度的数组结构时，schema的解析和执行逻辑得到了优化。这意味着当应用需要模型输出诸如坐标对、少量标签列表等短数组结构时，结果会更加可靠。

XGrammar的核心工作原理是将JSON Schema等格式规范转换为有限状态自动机（FSM）或上下文无关文法（CFG），在模型每一步生成token时对候选词汇表进行掩码过滤，只允许符合当前语法状态的token被采样。这种方式被称为"受约束解码"（constrained decoding），与事后校验的方式相比，它从根本上杜绝了格式错误的可能，而非依赖重试机制修补。XGrammar相比早期同类库（如Outlines、lm-format-enforcer）的优势在于其对复杂schema的编译速度和运行时推理开销更低，能在本地推理场景中保持较小的性能损耗。mlxrunner是Ollama针对Apple Silicon（M系列芯片）设备的后端运行时，此次升级意味着Mac用户在使用结构化输出时将直接受益。

为什么结构化输出很重要

结构化输出是将大语言模型接入实际生产系统的关键环节。开发者在构建AI Agent、数据提取管道或函数调用场景时，都高度依赖模型能够输出格式严格、可解析的结果。任何schema处理上的瑕疵，都可能导致下游程序解析失败或产生异常。

通过持续跟进XGrammar这类底层约束生成库的更新，Ollama能够将上游社区的修复成果快速传导到本地运行环境，让用户在无需深入底层细节的情况下获得更稳定的结构化生成体验。这种对细节的持续迭代，正是开源工具保持竞争力的体现。

候选版本的意义

值得关注的是，v0.34.4-rc1属于release candidate（候选版本）而非正式稳定版。这类版本通常用于在正式发布前进行更广泛的测试，收集社区反馈并验证修复的有效性。对于希望第一时间体验结构化输出改进的用户，可以尝试该候选版本；而追求稳定性的生产环境则建议等待后续正式版发布。

本次更新虽然体量不大，但对于依赖Ollama进行结构化数据生成的开发者而言，是一个值得留意的可靠性改进。随着本地大模型应用场景的不断拓展，这类底层能力的打磨将持续提升整体使用体验。

Release Candidate（RC）版本在软件发布流程中处于Beta测试之后、正式版（GA）之前的阶段。其命名惯例（如rc1、rc2）表示这是"第几轮候选"，若rc1期间发现严重问题，团队会修复后发布rc2，直到没有阻塞性问题才升级为正式版。对于Ollama这类活跃的开源项目，RC版本通常在GitHub Releases页面单独标注为"Pre-release"，不会通过常规的ollama pull自动推送给用户，需要手动指定版本号安装。这一机制保护了大多数普通用户免受潜在回归问题的影响，同时为社区贡献者和早期采用者提供了参与验证的渠道。