概念prompt lookup drafting / prompt lookup decoding / Prompt Lookup Decoding
提示查找草稿
投机解码的无参数变体,无需额外草稿模型,直接在已有输入提示和生成文本中通过字符串匹配检索n-gram片段作为候选token,适用于代码编辑、文档摘要、RAG等高文本重复场景
投机解码的无参数变体,无需额外草稿模型,直接在已有输入提示和生成文本中通过字符串匹配检索n-gram片段作为候选token,适用于代码编辑、文档摘要、RAG等高文本重复场景