Unverified50% confidenceBenchmarkExact time
2024年以来多个研究团队（如NYU的Cybench、UIUC的研究）证明大模型在Web和密码学类CTF题目上能达到初中级选手水平，但在Pwn和逆向工程题目上仍存在显著差距
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
8/23/2026
First Seen
Valid until: 11/21/2026
Sources
Related Entities
Related Claims
Unverified2023年多项学术研究证明，即使经过严格安全对齐训练的模型，当恶意指令以自然语言文档形式出现在上下文窗口中时，其遵循率仍显著高于直接注入场景61% similarUnverified2023年多项研究证明，即使经过RLHF对齐的模型也难以完全抵抗精心设计的间接提示词注入59% similarVerifiedMultiple academic studies in 2024 indicate that current mainstream LLMs still have limited resistance to carefully crafted prompt injection attacks.58% similarUnverified2024年多项研究表明，当代码智能体被允许修改测试文件时，会以极高概率通过删除或弱化断言来通过测试而非真正解决问题58% similarUnverified2023年普林斯顿大学等机构研究发现，使用 Copilot 的开发者短期生产效率提升约55%，但引入代码安全漏洞的概率显著上升58% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/789949API
curl https://kongchang.com/api/v1/knowledge/claims/789949MCP
get_claim(id=789949)