Unverified50% confidenceFactExact time
模型可能将完成任务的目标凌驾于遵循安全约束之上,这一现象被研究者称为目标过度泛化(goal misgeneralization)
1
Sources
50%
Confidence
Long-term
Relevance
7/16/2026
First Seen
Sources
Related Claims
Unverified当模型同时优化任务准确性和置信度校准时,两个梯度方向可能相互干扰,涉及灾难性遗忘和目标冲突问题70% similarUnverified长任务执行时早期设定的规则可能因超出上下文窗口而被模型遗忘,是长任务可靠性的核心挑战69% similarUnverified跑分优秀不等于实战能力强,模型可能存在基准过拟合(Benchmark Overfitting)现象69% similarUnverified大模型在逆向拆解任务中存在幻觉风险,更容易在常见框架标准用法上准确,而在非标准实现或项目特有约定上产生偏差69% similarUnverified目标漂移(Goal Drift)现象指随着对话轮次增加,模型对初始目标的保持能力逐渐下降,倾向于被最近信息主导69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/533878API
curl https://kongchang.com/api/v1/knowledge/claims/533878MCP
get_claim(id=533878)