待验证50% 置信基准精确时间
在ring_push任务上，四个模型（Claude Haiku 4.5、Gemma 4 31B、GPT-5.4 mini、Gemini 3.7 Flash）在两个任务中都完成了要求的改动，却丢失了prompt未重申的旧行为，fail-to-pass通过但pass-to-pass失败，该失误在八次运行中稳定复现
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/12
首次发现
有效期至：2026/10/26
来源
涉及实体
相关事实
待验证此前的PokeAgent挑战证明，即使是GPT-4V、Gemini等顶级多模态模型，在没有专门设计的辅助框架时，几乎无法在宝可梦RPG中取得任何进展69% 相似待验证Bench-Corp测试中，护栏在520次运行中漏掉了两次，均发生在Gemini 3.7 Flash的同一任务上。67% 相似待验证DeepSeek V4 Flash在22个多轮测试中失败13个（fail_fast 45%），Gemini同样失败13个67% 相似待验证参测的八个模型包括 GPT-6 Luna、Claude Haiku 5.5、Gemini 3.5 Flash-Lite、Qwen 3 Next 80B、Gemma 4 31B、GPT-6 Sol、Claude Sonnet 5 和 Gemini 3.7 Flash，每个模型在每条赛道跑 107 次调查64% 相似待验证修订版实验使用Gemini 3.7 Flash、Claude Sonnet 5.5和GPT-5.4，每个模型独立执行三次优化尝试，提示使用temperature 0和seed 064% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1007728API
curl https://kongchang.com/api/v1/knowledge/claims/1007728MCP
get_claim(id=1007728)