人物
Sean Campbell
AI开发者,Escalation Benchmark的设计者,专注于研究AI模型的元认知能力与校准性评估
时间轴 (近 90 天)
10月12日
开发者Sean Campbell设计了一个名为Escalation Benchmark的评测体系,衡量模型在面对无法回答的问题时是否会选择ESCALATE(上报/移交)而非硬编答案
待验证50%
10月12日
作者建议模型排名应按最差的形态(地板/floor)排名,而非按平均值排名
待验证50%
10月12日
作者在本机以温度零测试了5个从1B到8B的本地模型,每一个都在至少一整个形态上交出100%虚假自信率
待验证50%
10月12日
作者的方法论总结为:按下限而非平均值给模型排名,把系统构建成不需要模型自知并用代码校验其每句话,并用同一套基准给自己打分
待验证50%