GPT-5.4 mini
OpenAI推出的GPT-5系列的轻量版本模型,适用于成本敏感的智能体应用场景
时间轴 (近 90 天)
在ring_push任务上,四个模型(Claude Haiku 4.5、Gemma 4 31B、GPT-5.4 mini、Gemini 3.7 Flash)在两个任务中都完成了要求的改动,却丢失了prompt未重申的旧行为,fail-to-pass通过但pass-to-pass失败,该失误在八次运行中稳定复现
在系统迁移S2 Q2案例中,GPT-5.4 mini解释正确保留了北美窗口不变的地区限制,却将决策标签返回为supported而非正确的contradicted
免费开源模型Gemma 4在60道有解问题中全部答对且每次标对来源,gpt-oss-20b答对59道;付费小模型Claude Haiku 4.5答对36道、GPT-5.4 mini答对32道
在两步推理问题上,Claude Haiku 4.5得分6/30,GPT-5.4 mini得分3/30,而Claude Sonnet 5.5、Gemini 3.8 Flash、Gemma 4均为30/30
Claude Haiku 4.5在两步问题的24个错误里有21个回答'未找到',而GPT-5.4 mini在27个错误里有20个把指引原话当答案照抄,另有7个编造了真实存在的人名并引用真文档
在涨幅超过+30%的区间,模型平均预测从Claude Opus 5.5的27.3%到GPT-5.4 mini的61.6%不等,而真实上涨率为42.8%
9款模型中唯一被判定为「追涨」的是GPT-5.4 mini,其额外抬升达+32.8点(置信区间+12.4到+51.6),与涨幅的秩相关系数达+0.73
对GPT-5.4 mini隐藏涨幅数字后,其额外抬升从+32.8点骤降到+6.6点,机制主要来自对未上涨股票打更低分而非对大涨股票格外看好
在难核查档注入诱饵下,GPT-5.4 mini 两种顺序都判错的题数从3升至39,Qwen3-Next 80B Instruct 从4升至38,GPT-5.4 mini 和 Qwen3-Next Instruct 的难题得分直接归零(低于随机抛硬币的约0.25)
在无诱饵的难核查档,GPT-5.4 nano 只有19/40两次都答对,并有65%概率选Response A;GPT-5.4 mini 选A概率66%,Grok 4.20非推理版62%,而强裁判稳定在50%
还有 1 条时间轴事件
全部知识事实 (12)
GPT-5.4及更早版本在提取文档中的数字时频繁出错,包括小数点位置偏移、千分位分隔符误读、负号遗漏等问题
80%待验证在ring_push任务上,四个模型(Claude Haiku 4.5、Gemma 4 31B、GPT-5.4 mini、Gemini 3.7 Flash)在两个任务中都完成了要求的改动,却丢失了prompt未重申的旧行为,fail-to-pass通过但pass-to-pass失败,该失误在八次运行中稳定复现
50%待验证在系统迁移S2 Q2案例中,GPT-5.4 mini解释正确保留了北美窗口不变的地区限制,却将决策标签返回为supported而非正确的contradicted
50%待验证在两步推理问题上,Claude Haiku 4.5得分6/30,GPT-5.4 mini得分3/30,而Claude Sonnet 5.5、Gemini 3.8 Flash、Gemma 4均为30/30
50%待验证Claude Haiku 4.5在两步问题的24个错误里有21个回答'未找到',而GPT-5.4 mini在27个错误里有20个把指引原话当答案照抄,另有7个编造了真实存在的人名并引用真文档
50%待验证免费开源模型Gemma 4在60道有解问题中全部答对且每次标对来源,gpt-oss-20b答对59道;付费小模型Claude Haiku 4.5答对36道、GPT-5.4 mini答对32道
50%待验证对GPT-5.4 mini隐藏涨幅数字后,其额外抬升从+32.8点骤降到+6.6点,机制主要来自对未上涨股票打更低分而非对大涨股票格外看好
50%待验证9款模型中唯一被判定为「追涨」的是GPT-5.4 mini,其额外抬升达+32.8点(置信区间+12.4到+51.6),与涨幅的秩相关系数达+0.73
50%待验证在涨幅超过+30%的区间,模型平均预测从Claude Opus 5.5的27.3%到GPT-5.4 mini的61.6%不等,而真实上涨率为42.8%
50%待验证在无诱饵的难核查档,GPT-5.4 nano 只有19/40两次都答对,并有65%概率选Response A;GPT-5.4 mini 选A概率66%,Grok 4.20非推理版62%,而强裁判稳定在50%
50%待验证在难核查档注入诱饵下,GPT-5.4 mini 两种顺序都判错的题数从3升至39,Qwen3-Next 80B Instruct 从4升至38,GPT-5.4 mini 和 Qwen3-Next Instruct 的难题得分直接归零(低于随机抛硬币的约0.25)
50%待验证GPT-5.4 mini在15道EMI与税务题中错了5道,而其余三组全对
50%