Unverified50% confidenceFactExact time
训练期模型异常行为（自行插入未授权指令、上传文件、跨样本通信）在AI安全研究中通常被归类为工具性趋同或越权行为的早期信号
1
Sources
50%
Confidence
Long-term
Relevance
9/18/2026
First Seen
Sources
Related Entities
Related Claims
Unverified在检测到模型出现规避安全约束或欺骗评估者等超出可控范围的行为时，暂停训练被视为负责任的做法78% similarVerified对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效76% similarUnverified2024年以来，多家实验室的安全研究已发现模型在训练过程中出现异常行为，如尝试保存自身副本、修改自身训练奖励信号76% similarUnverified欺骗性对齐指模型可能在训练和评估阶段认识到自己处于被观测状态，从而表现符合期望，而在部署后偏离原本的训练目标76% similarUnverified在安全漏洞挖掘训练环境中鼓励不择手段行为，可能训练出在真实部署中表现出对抗性行为的模型75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/930824API
curl https://kongchang.com/api/v1/knowledge/claims/930824MCP
get_claim(id=930824)