概念提示彩票
Prompt Lottery
指LLM-as-a-Judge评审对语义等价但句法不同的提示改写高度敏感、导致判决漂移和不一致的现象
时间轴 (近 90 天)
10月30日
一项题为《Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing》的研究揭示,语义等价但措辞不同的提示变体会导致LLM评审给出不一致的判决,研究者将这种现象命名为Prompt Lottery。
待验证50%
10月30日
在模型排行榜、A/B测试或学术对比中,若仅依赖一个提示,排名可能因措辞的微小变化而翻转。
待验证50%