概念prompt sensitivity
提示词敏感性
大语言模型对提示词措辞变化产生不同输出的现象,可源于模型鲁棒性缺陷或评估方法设计缺陷,是模型评估领域的核心挑战之一
时间轴 (近 90 天)
10月18日
大语言模型对提示词的措辞、格式、示例数量乃至标点符号都高度敏感,同一任务的不同表述可能带来显著的分数波动。
待验证50%
10月6日
当模型对语义等价的不同问法给出质量迥异的答案时,说明模型对表层措辞过度拟合而未真正掌握底层任务
待验证50%
大语言模型对提示词措辞变化产生不同输出的现象,可源于模型鲁棒性缺陷或评估方法设计缺陷,是模型评估领域的核心挑战之一
大语言模型对提示词的措辞、格式、示例数量乃至标点符号都高度敏感,同一任务的不同表述可能带来显著的分数波动。
当模型对语义等价的不同问法给出质量迥异的答案时,说明模型对表层措辞过度拟合而未真正掌握底层任务