概念Guided Generation / 约束生成 / 结构化生成
引导式生成
一种在LLM推理过程中实时约束模型输出token的技术，通过有限状态机或上下文无关文法，在采样层面屏蔽不符合结构约束的候选token，确保输出必然符合给定schema
时间轴 (近 90 天)
10月12日
Apple Foundation Models通过引导式生成在框架层面约束模型输出使其必然符合给定类型结构，而ExecuTorch没有对应能力，只能把schema写进prompt
待验证50%
10月12日
引导式生成（Guided Generation）是一种在推理过程中实时约束模型输出token的技术，通常通过有限状态机或上下文无关文法实现，在采样层屏蔽不符合结构约束的候选token
待验证50%