待验证70% 置信事实时间未知

DevStral在SWE-bench等代码基准测试中表现优异

1

来源数

70%

置信度

中期 (~90 天)

时效性

2026/6/1

首次发现

有效期至：2026/8/30(已过期)

来源

Mistral Vibe实测：月费$15的Claude Code平替到底值不值？

bilibili安得广厦千万间678

涉及实体

DevStralmodel SWE-benchconcept

相关事实

待验证SWE-Bench主要依赖单元测试是否通过来判定任务成功与否，但通过测试并不等于代码质量过关63% 相似待验证SWE-bench因贴近真实工程场景被业界认为是最具实际参考价值的代码基准测试63% 相似待验证评估智能体编程能力的主流基准包括SWE-bench、SWE-bench Verified和HumanEval63% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率62% 相似待验证在实际测试中，CodeRabbit能够准确检测出硬编码API密钥的安全问题，审查结果几乎即时返回61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/20714

API

curl https://kongchang.com/api/v1/knowledge/claims/20714

MCP

get_claim(id=20714)