概念Constrained Decoding / 约束采样
约束解码
一种限制大模型输出格式的技术，通过有限状态机或上下文无关文法，在每个token生成时只允许合法token被选择，从物理层面保证输出符合预定义的JSON Schema等结构化格式
时间轴 (近 90 天)
8月25日
约束解码在量化模型上面临挑战，因量化改变了模型的logit分布，可能导致约束空间内的概率排序发生变化
待验证50%
8月24日
格式合规性在生产环境中可通过后处理、约束解码或重试机制缓解，而语义错误是难以修复的根本缺陷
待验证50%
8月24日
约束解码是一种在LLM推理阶段强制输出符合特定语法或模式的技术，典型实现包括OpenAI的JSON Mode、Outlines库和LMQL
待验证50%