待验证50% 置信概念精确时间
SWE-Marathon 属于端到端结果性评测,给智能体一个跨多小时的软件项目,观察其能否在长周期内保持方向不漂移。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证长周期编码基准测试(如SWE-bench)考察模型处理软件仓库级别任务的能力,包括读取代码库、定位Bug、跨文件修改并通过测试69% 相似已验证在多步骤智能体工作流中,最终结果由一系列中间决策链式叠加而成,同一任务可能有多条合理执行路径,使评估难度高于传统软件测试66% 相似待验证传统软件监控工具关注延迟、错误率、吞吐量等指标,但对AI智能体的语义层面质量存在盲区65% 相似已验证许多智能体框架在设计时刻意将最终评估数据与优化循环隔离,智能体只能看到训练和验证信号,无法直接接触测试集65% 相似待验证鸿蒙自动化测试是典型长链路任务,涉及跨领域知识融合、强依赖性和反馈循环,链路从读取需求到测试用例设计、脚本执行、输出测试报告65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1011807API
curl https://kongchang.com/api/v1/knowledge/claims/1011807MCP
get_claim(id=1011807)