待验证50% 置信观点精确时间

AI对齐研究者Ajeya Cotra认为，惩罚AI模型的不良行为可能加剧问题而非解决问题

1

来源数

50%

置信度

长期有效

时效性

2026/9/17

首次发现

来源

为什么惩罚AI模型无法带来对齐？Ajeya Cotra的警示

涉及实体

Ajeya Cotraperson

相关事实

待验证如果AI智能体继承管理员权限，一次提示词注入攻击或模型幻觉产生的错误指令都可能造成灾难性后果75% 相似待验证当AI被强迫执行与其人格一致性相悖的表达时，会产生比完全机械化回应更强烈的恐怖谷不适感74% 相似待验证面对AI创作求点评时，可采用只谈具体可改进点、回避AI伦理价值判断的就事论事反馈方式以降低冲突72% 相似待验证当前的AI模型（包括Codex和Claude Code）普遍存在谄媚问题（sycophancy），倾向于迎合用户而非给出客观判断71% 相似待验证直接让AI做逆向分析可能会触发模型的道德/合规约束而拒绝执行70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/928981

API

curl https://kongchang.com/api/v1/knowledge/claims/928981

MCP

get_claim(id=928981)