[控场AI]
产品

XGrammar

专注于结构化生成的高效约束解码引擎,通过有限状态机或上下文无关文法在解码阶段施加语法约束,支持JSON schema合规输出,将部分掩码计算异步提前至CPU完成以降低性能损耗

时间轴 (近 90 天)

10月4日

XGrammar是一个专注于高效、灵活结构化生成的库,用于约束大语言模型输出符合预定义schema的内容

待验证50%
10月4日

v0.34.4-rc1将mlxrunner中的XGrammar库升级至0.2.7版本

待验证50%
10月4日

XGrammar的核心工作原理是将JSON Schema等格式规范转换为有限状态自动机(FSM)或上下文无关文法(CFG),在模型生成每个token时对候选词汇表进行掩码过滤

待验证50%
10月4日

XGrammar 0.2.7改进了对短数组(short arrays)场景的支持

待验证50%
10月4日

升级到XGrammar 0.2.7后修复了针对类型化字典值(typed dictionary values)的处理问题

待验证50%
10月4日

XGrammar相比早期同类库(如Outlines、lm-format-enforcer)在对复杂schema的编译速度和运行时推理开销上更低

待验证50%
10月4日

XGrammar 是专注于语法约束生成的库,能将 JSON Schema 等规范编译为 token 掩码,在解码时实时屏蔽不合法候选 token

待验证50%
10月4日

v0.34.4 更新了 llama.cpp、MLX 和 XGrammar 等核心底层依赖

待验证50%
9月24日

vLLM团队公开致谢XGrammar团队,双方就在vLLM上部署DeepSeek-v4.1时实现可靠且高性能的工具调用展开了合作

已过期50%
9月24日

vLLM与XGrammar的集成方案能够覆盖DeepSeek-v4.1这类MoE模型,具备一定的架构通用性

待验证50%

还有 3 条时间轴事件

全部知识事实 (12)

待验证

XGrammar相比早期同类库(如Outlines、lm-format-enforcer)在对复杂schema的编译速度和运行时推理开销上更低

50%
待验证

v0.34.4-rc1将mlxrunner中的XGrammar库升级至0.2.7版本

50%
待验证

XGrammar是一个专注于高效、灵活结构化生成的库,用于约束大语言模型输出符合预定义schema的内容

50%
待验证

升级到XGrammar 0.2.7后修复了针对类型化字典值(typed dictionary values)的处理问题

50%
待验证

XGrammar 0.2.7改进了对短数组(short arrays)场景的支持

50%
待验证

XGrammar的核心工作原理是将JSON Schema等格式规范转换为有限状态自动机(FSM)或上下文无关文法(CFG),在模型生成每个token时对候选词汇表进行掩码过滤

50%
待验证

v0.34.4 更新了 llama.cpp、MLX 和 XGrammar 等核心底层依赖

50%
待验证

XGrammar 是专注于语法约束生成的库,能将 JSON Schema 等规范编译为 token 掩码,在解码时实时屏蔽不合法候选 token

50%
待验证

XGrammar是一个专注于结构化生成的高效引擎,通过在解码阶段对输出token施加语法约束,确保生成结果符合预定义的格式规范

50%
待验证

XGrammar将部分掩码计算提前到CPU上异步完成,并对常见JSON结构进行缓存,从而在GPU执行解码时几乎不引入额外等待

50%
待验证

通过集成XGrammar的语法约束能力,vLLM能够保证DeepSeek-v4.1在生成工具调用时输出结构合法,显著降低出错率

50%
待验证

vLLM与XGrammar的集成方案能够覆盖DeepSeek-v4.1这类MoE模型,具备一定的架构通用性

50%

来源文章