目标模型
需求工程与业务分析领域的建模工具,将组织意图层次化表达为目标、子目标及其依赖关系,常见形式包括i*框架和KAOS方法,用于指导系统分析与设计
核心事实
时间轴 (近 90 天)
传统软标签蒸馏要求草稿模型在每一个位置上都逼近目标模型的完整概率分布,包括高熵区域,这与推理时最大化接受长度的目标不一致。
攻击成功率不是目标模型的固有属性,而是目标模型与评分器的联合产物。
投机解码的核心思想是:用一个较小的草稿模型快速生成多个候选 token,然后让目标大模型一次性并行验证这些 token 是否可接受。
该方法的代价是需要额外投入构建目标模型,这是相较于自动聚类必须付出的前置成本
目标模型是需求工程与业务分析领域的成熟工具,常见形式包括i*框架、KAOS方法
该方法首先为组织构建目标模型,预先定义分类的坐标轴(分类维度和标准),而不是从数据中被动发现
论文让LLM在目标模型上下文中解读每个变体的文本叙述并分配到最合适类别,用LLM的语义推理能力连接底层流程行为与高层业务目标
协同设计从一开始就将草稿模型与目标模型作为一个整体系统来设计和训练,以提升token接受率
Medusa在模型顶层添加多个预测头预测未来不同位置的Token并通过树状验证确认,无需额外草稿模型,可将推理速度提升2-3倍
全部知识事实 (10)
投机解码用一个小型快速的草稿模型先行预测多个token,再由大模型一次性并行验证
90%已验证Medusa在模型顶层添加多个预测头预测未来不同位置的Token并通过树状验证确认,无需额外草稿模型,可将推理速度提升2-3倍
75%待验证传统软标签蒸馏要求草稿模型在每一个位置上都逼近目标模型的完整概率分布,包括高熵区域,这与推理时最大化接受长度的目标不一致。
50%待验证攻击成功率不是目标模型的固有属性,而是目标模型与评分器的联合产物。
50%待验证投机解码的核心思想是:用一个较小的草稿模型快速生成多个候选 token,然后让目标大模型一次性并行验证这些 token 是否可接受。
50%待验证目标模型是需求工程与业务分析领域的成熟工具,常见形式包括i*框架、KAOS方法
50%待验证该方法首先为组织构建目标模型,预先定义分类的坐标轴(分类维度和标准),而不是从数据中被动发现
50%待验证该方法的代价是需要额外投入构建目标模型,这是相较于自动聚类必须付出的前置成本
50%待验证论文让LLM在目标模型上下文中解读每个变体的文本叙述并分配到最合适类别,用LLM的语义推理能力连接底层流程行为与高层业务目标
50%待验证协同设计从一开始就将草稿模型与目标模型作为一个整体系统来设计和训练,以提升token接受率
50%