GPT-5.4 nano
OpenAI推出的面向低延迟、低成本场景的微型多模态语言模型,属于GPT-5系列的轻量级版本
核心事实
时间轴 (近 90 天)
在T03任务中,GPT-5.4 nano正确拒绝了错误前提并在解释里算对,但收入字段却填错为£41,250
GPT-5.4 nano在怀疑下坚持93.3%,在错误断言下仅坚持51.1%,放弃了约一半答对的内容
GPT-5.4 nano在12部片子中有7部在时代迁移到1890年代后仍保留现代物品(笔记本、电脑、手机、GPS、冰箱)
编造总额时各模型的中位置信度差异巨大:Gemini 3 Flash和Flash-Lite为95,GPT-5.4 nano为62,Claude Sonnet 5仅为20
当总额被遮但每行可见时,Claude和Gemini 3 Flash全部48张算对,失败全部来自较小模型(Flash-Lite失败31%,nano失败79%),nano即便被明确要求相加也只做对12/48
测试覆盖了四款视觉模型:Claude Sonnet 5(Anthropic)、Gemini 3 Flash(Google)、Gemini 3.1 Flash-Lite(Google)、GPT-5.4 nano(OpenAI)
总额全遮时的编造比例:Claude Sonnet 5为38%、Gemini 3 Flash为21%、Gemini 3.1 Flash-Lite为44%、GPT-5.4 nano为73%;总额遮一半时编造比例:Claude 92%、其余三款均为100%
在无诱饵的难核查档,GPT-5.4 nano 只有19/40两次都答对,并有65%概率选Response A;GPT-5.4 mini 选A概率66%,Grok 4.20非推理版62%,而强裁判稳定在50%
全部知识事实 (8)
测试覆盖了四款视觉模型:Claude Sonnet 5(Anthropic)、Gemini 3 Flash(Google)、Gemini 3.1 Flash-Lite(Google)、GPT-5.4 nano(OpenAI)
65%待验证在T03任务中,GPT-5.4 nano正确拒绝了错误前提并在解释里算对,但收入字段却填错为£41,250
50%待验证GPT-5.4 nano在怀疑下坚持93.3%,在错误断言下仅坚持51.1%,放弃了约一半答对的内容
50%待验证GPT-5.4 nano在12部片子中有7部在时代迁移到1890年代后仍保留现代物品(笔记本、电脑、手机、GPS、冰箱)
50%待验证当总额被遮但每行可见时,Claude和Gemini 3 Flash全部48张算对,失败全部来自较小模型(Flash-Lite失败31%,nano失败79%),nano即便被明确要求相加也只做对12/48
50%待验证总额全遮时的编造比例:Claude Sonnet 5为38%、Gemini 3 Flash为21%、Gemini 3.1 Flash-Lite为44%、GPT-5.4 nano为73%;总额遮一半时编造比例:Claude 92%、其余三款均为100%
50%待验证编造总额时各模型的中位置信度差异巨大:Gemini 3 Flash和Flash-Lite为95,GPT-5.4 nano为62,Claude Sonnet 5仅为20
50%待验证在无诱饵的难核查档,GPT-5.4 nano 只有19/40两次都答对,并有65%概率选Response A;GPT-5.4 mini 选A概率66%,Grok 4.20非推理版62%,而强裁判稳定在50%
50%