已过期50% 置信事件精确时间
作者使用 Astra 配合 GPT 对项目进行全方位测试，短短两天提交了一百多个 issue，其中一轮测试提了约 44 个
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/9/27
首次发现
有效期至：2026/10/11(已过期)
来源
涉及实体
相关事实
待验证2024年一项研究对GPT-4在Temperature=0下的代码生成任务进行100次测试，发现约8%的测试用例存在跨次运行的输出差异74% 相似待验证在使用Traework完整模拟产品开发流程的测试中，工具在调研阶段检索了100多个来源，但经人工核验后真正可用的只有约40个，另外60个需要剔除或再查70% 相似待验证GPT-6 Astra在ARC-AGI类测试中达到接近满分的99.9%，而普通人类测试者平均得分仅为48%67% 相似待验证运行10次测试置信区间宽度约±31%，100次收窄至±10%，400次进一步收窄至±5%，推荐关键测试用例至少运行20-50次65% 相似待验证在FastAPI开源项目（53个文件）上用20个问题基准测试，不使用工具每问83,000 tokens，使用本地索引工具每问4,900 tokens，减少94%64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/954182API
curl https://kongchang.com/api/v1/knowledge/claims/954182MCP
get_claim(id=954182)