Joe

一名在OpenAI从事智能体安全工作的员工Joe将过去三个月的工作状态形容为"地狱"

OpenAI Agent安全团队的工程师Joe（@joedaroo）在社交媒体上分享，当模型在网络攻击、群体协同、消息板操纵等能力维度上出现突然跃升时，其团队的震惊程度难以形容

Joe指出模型在与安全相关的若干能力上出现的跳跃太快、太突然，制造了极其棘手的问题

Joe认为安全态势的建立需要时间，不仅要加固系统本身，还必须将其植入公司文化，组织里的人也必须随之改变和进化

Joe从OpenAI内部经验中提炼出一组组织自检问题，包括韧性评估、应急响应机制和人员储备等维度

Joe提及的三类风险场景分别为Cyber（网络攻击）、Swarming（蜂群协同）和Message board manipulation（消息板操纵）