待验证50% 置信决策规则精确时间

对于推理服务而言，一个功能正确但让吞吐量下降30%的补丁实际上是不可接受的，性能表现应纳入评测维度

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

SWE-Serve：为何AI编码智能体测试通过却在真实服务中失效

涉及实体

SWE-Serveproduct

相关事实

待验证业界仿真精度评估通常要求吞吐量误差小于15%70% 相似待验证测评题量与信度存在权衡：低于30题的『快测』因抽样不足信度偏低，但200题以上的专业量表易产生答题疲劳导致后半段随意作答，60-120题是兼顾信度与完成质量的区间70% 相似待验证研究表明在某些任务上仅将提示词中的'请判断'改为'请分析'就可能导致准确率波动5-10个百分点70% 相似待验证同一个精心设计的提示词在不同平台间直接复用时，输出质量可能出现20-40%的效果落差69% 相似待验证在提示中包含具体评估维度（如格式、字数、覆盖要点、排除事项）比模糊提示平均可提升模型输出质量30%-50%69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/944537

API

curl https://kongchang.com/api/v1/knowledge/claims/944537

MCP

get_claim(id=944537)