待验证50% 置信事件精确时间
Simular在生成OSWorld 2.1参考运行时,因模型密钥使用上限导致任务在一步后停止,却被记录为成功、得分为0,整个文件夹平均分算出0.40。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至:2027/1/10
来源
涉及实体
相关事实
待验证OSWorld维护者有一个未合并的修复,针对108个任务中的14个——它们的评分器会把对裁判模型的失败调用变成0分。73% 相似待验证OSWorld 2.0中模型评估仅占总得分的11.53%,且没有任何任务的模型评估占比超过50%69% 相似待验证OS World的82项测试并非在完全相同条件下运行,一半任务沿用原基线分数,投入资源和尝试次数也不同,因此7个百分点提升不能全归功于记忆65% 相似待验证实验中塑形奖励配置下的task_score仅为0.125,而朴素奖励是0.417,效应量d=4.4762% 相似待验证在语义分割任务中,基础模型UNet的原始mIoU指标为0.81762% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1009488API
curl https://kongchang.com/api/v1/knowledge/claims/1009488MCP
get_claim(id=1009488)