待验证50% 置信基准精确时间

大模型生成的代码在功能正确性上的通过率（如 HumanEval 基准测试）逐年提升但仍未达到100%，在并发、状态管理、异常处理等复杂场景中错误率显著上升

1

来源数

50%

置信度

长期有效

时效性

2026/8/27

首次发现

来源

编程圈最火的10个AI Skills盘点：从方法论到工作流全解析

涉及实体

HumanEvalconcept 大模型concept

相关事实

待验证基准测试存在分布偏差，测试集的任务类型、难度分布和仓库规模未必代表真实开发场景，Max模式会提升得分但大幅增加Token消耗71% 相似待验证在收敛型任务上，模型达到一定规模后存在明显的性能饱和现象，参数量或训练数据的继续增加对准确率的边际贡献快速衰减70% 相似待验证大语言模型在数学证明、代码生成等任务上超越人类平均水平，却在空间推理、计数等简单任务上出现失误，呈现非均匀能力分布70% 相似待验证模型微调（Fine-tuning）面临成本高、更新慢、存在灾难性遗忘风险等问题69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/807963

API

curl https://kongchang.com/api/v1/knowledge/claims/807963

MCP

get_claim(id=807963)