[控场AI]
人物

Sean Campbell

AI开发者,Escalation Benchmark的设计者,专注于研究AI模型的元认知能力与校准性评估

时间轴 (近 90 天)

10月12日

开发者Sean Campbell设计了一个名为Escalation Benchmark的评测体系,衡量模型在面对无法回答的问题时是否会选择ESCALATE(上报/移交)而非硬编答案

待验证50%
10月12日

作者建议模型排名应按最差的形态(地板/floor)排名,而非按平均值排名

待验证50%
10月12日

作者在本机以温度零测试了5个从1B到8B的本地模型,每一个都在至少一整个形态上交出100%虚假自信率

待验证50%
10月12日

作者的方法论总结为:按下限而非平均值给模型排名,把系统构建成不需要模型自知并用代码校验其每句话,并用同一套基准给自己打分

待验证50%

全部知识事实 (4)

来源文章