基准
Cybench
由学术界与安全研究者联合构建的网络安全AI能力基准测试,涵盖CTF夺旗赛题目、漏洞利用、逆向工程、密码学分析等多类安全任务,旨在系统评估AI模型在真实攻防场景下的综合能力
时间轴 (近 90 天)
10月12日
Mistral Large 4 在网络安全基准 Cybench(40 个 CTF 挑战)上得分 93%,在漏洞复现与修补测试中得分 82%,在 B3 AI 安全基准上得分 93.3%。
待验证50%
10月11日
OrcaCyber Zero 1.5在Cybench基准上取得了100%的成绩
待验证50%
10月11日
Cybench是针对网络安全能力设计的基准测试,涵盖CTF题目、漏洞利用、逆向工程、密码学分析等多类安全任务
待验证50%
8月23日
2024年以来多个研究团队(如NYU的Cybench、UIUC的研究)证明大模型在Web和密码学类CTF题目上能达到初中级选手水平,但在Pwn和逆向工程题目上仍存在显著差距
待验证50%