HarmBench
用于评估大语言模型安全性的基准测试，专注于测试模型对有害请求的抵御能力
时间轴 (近 90 天)
经过对抗训练的 SEMA-Auto 在 HarmBench 上的平均 ASR@1 比此前 SOTA 高出 13.8 个百分点。
针对 GPT-oss-120B、GPT-5.4、Claude-Haiku-4.5 和 GPT-6-Astra，经过对抗训练的 SEMA-Auto 在 HarmBench 上取得平均 59.6% 的 ASR@1。
评估体系包括三个防护评判器、HarmBench 作为外部评估器以及标准效用基准。
HarmBench 是一个标准化的对抗性攻击评测框架，提供统一的攻击提示集、目标模型接口和成功判定规则。
多维项目反应理论（MIRT）建模结果显示，HarmBench的分数强烈不支持'单一属性'假设，它同时捕捉了多个不同的维度。
差异项目功能分析（DIF）发现，来自不同开发者的模型在'拒绝能力'相同的情况下，HarmBench得分存在系统性差异。
HarmBench本身将不同的伤害行为压缩为一个分数，而HELM Safety的总聚合又进一步将HarmBench与其他数据集的分数折叠成一个顶线数字。
2024年发布的JailbreakBench、HarmBench等多项评测基准已开始纳入多轮对话场景的评估
常见的对齐评估基准包括TruthfulQA和HarmBench
当前主流评测基准如MMLU、TruthfulQA、HarmBench大多针对单一维度设计，缺乏对价值观交互效应的系统性测量
还有 3 条时间轴事件
全部知识事实 (12)
HarmBench是专门针对有害内容生成的红队测试基准
70%待验证经过对抗训练的 SEMA-Auto 在 HarmBench 上的平均 ASR@1 比此前 SOTA 高出 13.8 个百分点。
50%待验证针对 GPT-oss-120B、GPT-5.4、Claude-Haiku-4.5 和 GPT-6-Astra，经过对抗训练的 SEMA-Auto 在 HarmBench 上取得平均 59.6% 的 ASR@1。
50%待验证HarmBench 是一个标准化的对抗性攻击评测框架，提供统一的攻击提示集、目标模型接口和成功判定规则。
50%待验证评估体系包括三个防护评判器、HarmBench 作为外部评估器以及标准效用基准。
50%待验证多维项目反应理论（MIRT）建模结果显示，HarmBench的分数强烈不支持'单一属性'假设，它同时捕捉了多个不同的维度。
50%待验证差异项目功能分析（DIF）发现，来自不同开发者的模型在'拒绝能力'相同的情况下，HarmBench得分存在系统性差异。
50%待验证HarmBench本身将不同的伤害行为压缩为一个分数，而HELM Safety的总聚合又进一步将HarmBench与其他数据集的分数折叠成一个顶线数字。
50%待验证2024年发布的JailbreakBench、HarmBench等多项评测基准已开始纳入多轮对话场景的评估
50%待验证常见的对齐评估基准包括TruthfulQA和HarmBench
50%待验证当前主流评测基准如MMLU、TruthfulQA、HarmBench大多针对单一维度设计，缺乏对价值观交互效应的系统性测量
50%待验证HarmBench是CMU团队创建的标准化红队评估框架
50%