待验证50% 置信基准精确时间
在 τ-bench 零售环境基准测试中(30 个测试任务,模拟客户,单次运行,solvi 0.8.0,gpt-oss-120b 作为 Agent),无守卫时解决 18 个任务、环境拒绝 10 次变更调用;有守卫时解决 14 个任务、环境拒绝 0 次变更调用。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/12
首次发现
有效期至:2026/10/26
来源
涉及实体
相关事实
待验证在实验中,零样本生成任务解决率为17%,通用自我纠错为27%,仅错误反馈为23%,诊断性反例反馈(A-CEGIS)达到90%65% 相似待验证在 τ-bench 零售探测中,动作模型在 11,763 条留出转换上以精确率和召回率 1.000 预测了环境的拒绝,仅 0.26% 的情况弃权。64% 相似待验证在使用Traework完整模拟产品开发流程的测试中,工具在调研阶段检索了100多个来源,但经人工核验后真正可用的只有约40个,另外60个需要剔除或再查64% 相似待验证当前数据集包含 29 个模型/配置条目下的 770 次记录尝试,但统一测试套件中只有 16 个不同任务63% 相似待验证在 Terminal Bench 2.1 测试中,OpenCode 对比里 89 个任务的失败数从 29 降到 16,多解决 13 题,分数提升 14.61 个百分点63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1006096API
curl https://kongchang.com/api/v1/knowledge/claims/1006096MCP
get_claim(id=1006096)