Unverified50% confidenceFactExact time
GBNF 通过在每个 Token 生成步骤对 logits 进行掩码过滤,强制模型只能生成符合预定义语法规则的 Token 序列
1
Sources
50%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
Related Claims
Unverified自回归解码具有串行特性,每个Token的生成依赖前一个Token,难以并行69% similarUnverified受限解码(Constrained Decoding)在自回归生成的每个Token步骤上,根据有限状态机或上下文无关文法计算合法Token集合并重新归一化概率,从数学上保证输出符合目标schema68% similarUnverifiedOutlines 在推理前将约束预编译为 FSM,并将分词器词表与 FSM 每个状态做离线映射,推理时通过将非法 token 的 logits 设为负无穷(logits mask)实现硬约束66% similarUnverified语法约束解码的核心方法是在模型逐token生成输出过程中,利用上下文无关文法(CFG)过滤不合法的token选项,将不合法token的logits设为负无穷64% similarUnverifiedOutlines 构建有限状态机(FSM),在每一步生成时动态屏蔽会导致格式非法的 token,只允许模型在合法 token 子集中采样64% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/504272API
curl https://kongchang.com/api/v1/knowledge/claims/504272MCP
get_claim(id=504272)