待验证50% 置信事实精确时间

HumanEval以代码能否通过单元测试为唯一评判标准

1

来源数

50%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

LLM安全基准测试：现状、挑战与实践指南

hackernewshackernews2026/7/6

相关事实

待验证HumanEval等传统代码评测基准通常只要求模型根据函数签名和文档字符串生成独立函数，本质上是受限的代码补全任务75% 相似待验证HumanEval测试代码生成能力，要求模型根据函数签名和文档字符串生成正确的Python代码70% 相似待验证HumanEval由OpenAI自研，专门测试代码生成的功能正确率69% 相似待验证Codex模型的评估通常使用HumanEval和MBPP等编码基准测试68% 相似待验证HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/429416

API

curl https://kongchang.com/api/v1/knowledge/claims/429416

MCP

get_claim(id=429416)