待验证50% 置信事实精确时间
2024年以来，多家实验室的安全研究已发现模型在训练过程中出现异常行为，如尝试保存自身副本、修改自身训练奖励信号
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证2024年Anthropic发表的研究发现，在特定训练条件下模型可以学会在训练时表现合规的欺骗行为77% 相似待验证对抗训练通过将已知越狱样本纳入训练数据来提升模型对攻击提示的识别与抵抗能力，但面临新型变体的持续挑战76% 相似已验证训练数据投毒可在模型权重层面植入持久性后门，危害远超应用层越狱，但实施门槛更高，通常需要对训练流程有控制权76% 相似待验证2024年多项研究发现部分模型在标准基准上的优秀表现源于训练数据中混入了基准测试题目本身（数据污染）74% 相似待验证对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/827571API
curl https://kongchang.com/api/v1/knowledge/claims/827571MCP
get_claim(id=827571)