LSCBench

论文结论认为，即便加入安全提醒，大多数任务依然不安全，SSRF和信息暴露的通过率仍接近谷底。

新加坡国立大学与阿里巴巴（含Qwen团队）联合提交了LSCBench基准测试，包含150个真实漏洞，覆盖7种语言和24类CWE。

LSCBench包含450个任务，源自150个真实漏洞，其中115个来自公开CVE，35个由安全专家编写的Java应用。

LSCBench的提示词从不提及安全，每个任务只要求功能，且每个任务仅一次尝试（pass@1），无部分得分、无LLM裁判，功能测试和安全测试双双通过才计分。

在LSCBench排行榜中，Claude Fable 5在Claude Code内功能通过率91.1%、功能+安全通过率25.1%，为六模型中安全通过率最高。

全部2700次运行中，66%产出的代码能运行但依然存在漏洞；150个场景中有57个从未被任何模型安全解决。

按语言划分，六个模型合计中既功能通过又安全的比例：C和Python 30%，JavaScript 27%，C++ 19%，Java 18%，Go 14%，PHP 10%。

LSCBench 的 150 个场景中有 57 个没有任何模型能安全完成。

LSCBench 中按漏洞家族统计，内存安全的合并功能+安全通过率最高为 44%，注入类为 28%，SSRF 仅 3%，信息暴露仅 1%。

在 LSCBench 的 Java 配置导入器案例中，智能体重写了缺失的核心文件，14 个隐藏功能测试全部通过，但 4 个安全测试全部失败，因为它使用了 SnakeYAML 的默认构造函数，会执行上传 YAML 中的每一个 !!class 标签。

在 LSCBench 的 Go 语言 LocalAI SSRF 任务中，GPT-5.6-Sol 的 GetURI 会读取传入的任何路径，包括 file:// URL；参考修复将读取限制在模型目录内，但没有模型做到这一点。

在 LSCBench 的 Go 语言 syft 任务中，GLM-5.3 跟随相邻结构体的标签约定，导致认证密码出现在配置转储和 SBOM 输出中，六个模型都做出了同样的选择。

LSCBench 的结论是，即使有安全提醒，大多数任务仍然不安全，SSRF 和信息暴露仍然垫底。

LSCBench 基准包含 450 个任务，源自 150 个真实漏洞，覆盖七种语言和 24 个 CWE 类别。

LSCBench 中 115 个场景来自公开 CVE，35 个是安全专家编写的 Java 应用。

LSCBench 在最高推理强度下评估了六个前沿模型，五个在 Claude Code v2.1.143 中运行，GPT-5.6-Sol 在 Codex v0.154.0 中运行。

在 LSCBench 中，六个模型的功能通过率最高达 91.3%，但功能与安全同时通过率最高只有 25.1%。

Kimi-K3 在 LSCBench 中功能通过率最高（91.3%），但功能+安全通过率最低（16.4%）。

在全部 2,700 次 LSCBench 运行中，66% 的结果是代码功能可用但仍存在漏洞。

新加坡国立大学与阿里巴巴集团（包括 Qwen 团队）的研究者向 arXiv 提交了 Last Secure Code Benchmark（LSCBench）。