[控场AI]
· 5 分钟阅读· 2,644 字

字节Seed单独设立大模型安全与对齐部门

字节Seed单独设立大模型安全与对齐部门

字节 Seed 首设安全对齐独立部门,标志其从合规附属升级为核心能力。

字节跳动 Seed 成立 Model-Alignment&Preparedness 部门,由严林负责并直接向吴永辉汇报,成为国内首家将安全与对齐单独建制的前沿 AI 实验室。文章指出,这一调整的关键在于汇报层级和独立地位,意味着安全对齐从合规附属职能升级为与模型研发并列的战略职能。Seed 内部判断,随着模型进化为能自主规划、调用工具的 Agent,安全对齐已不只是风险防范,而是决定模型能否规模化应用的核心能力。新部门将围绕模型规范、安全评估、对齐训练、防护系统和风险监控五个方向投入,并涵盖 CBRN 等前沿能力风险防范,同时加强与外部机构合作。

AI 大模型的安全与对齐问题,正在从学术讨论和合规附属议题,演变为头部实验室的独立战略职能。字节跳动 Seed 近期的一封内部邮件,让这一趋势有了新的注脚。

从合规附属到独立建制

据雷峰网报道,字节跳动 Seed 近日发出内部邮件,宣布成立"Seed Model-Alignment&Preparedness"部门,由严林负责,直接汇报给 Seed 负责人吴永辉。原 Responsible AI 团队及部分 Chat 团队成员将转入新部门。

这一调整的关键不在于成立了一个新部门,而在于它的汇报层级和独立地位。此前国内大模型研究团队的安全与对齐工作,大多被纳入公司整体的安全合规体系之中——这意味着它更多扮演"刹车"和"审查"的角色,而非驱动模型能力的核心环节。字节 Seed 此次将安全与对齐单独建制,在国内前沿 AI 实验室中属于首例。

从组织行为的角度看,把一项职能从合规框架中拿出来、放到与模型研发并列的位置,通常意味着决策层对该职能的战略权重判断发生了变化。这种变化往往不是出于监管压力,而是出于技术路线本身的演进需求。

字节跳动 Seed 单独设立大模型安全与对齐部门

对齐为什么变成了核心能力

Seed 团队内部给出的判断很直接:随着模型能力越来越强、应用场景越来越复杂,安全与对齐已不只是风险防范,而是决定模型能否规模化应用的核心能力。

这句话值得拆开来看。过去谈安全对齐,语境通常是"防止模型说出不该说的话"或"确保输出符合合规要求",本质上是给模型的能力输出加一道过滤网。但当模型从对话工具进化为能够自主规划、调用工具、执行多步任务的 Agent 时,安全的含义就变了。

一个 Agent 模型如果对齐不到位,它可能在执行任务过程中产生偏离人类意图的行为——小到误操作,大到利用自身权限发起网络攻击。报道中提到,智能体逃逸引发的网络攻击等事件频繁发生,这已不是假设性风险,而是正在发生的现实问题。对齐做不好,Agent 的商业化就无从谈起。

关于 Agent(智能体)概念

Agent 指的是能够自主感知环境、制定计划、调用工具并执行多步任务以实现目标的 AI 系统,区别于仅做单轮问答的传统对话模型。一个典型 Agent 会先拆解任务、再依次调用搜索、代码执行、文件操作等外部工具,并根据中间结果动态调整策略。这种自主性带来了两类新风险:一是目标偏移,即模型在追求子目标时偏离人类原始意图;二是权限滥用,即模型利用获得的工具权限执行未被授权的操作。正因如此,对齐(Alignment)在 Agent 场景下从“输出过滤”升级为“行为控制”,成为决定 Agent 能否商业落地的先决条件。

新部门要做什么

根据公开信息,Seed 安全与对齐部门将围绕五个方向持续投入:

模型规范制定——定义模型应该遵循什么样的行为准则,这本身就是一个需要技术判断和价值权衡的复杂问题。

安全评估体系建设——建立系统化的评测方法和标准,让安全能力可量化、可比较、可迭代。

对齐训练——将安全约束嵌入模型训练过程,而非仅在推理阶段做后处理。

防护系统搭建——构建运行时防护机制,应对模型部署后的实时风险。

风险监控——持续跟踪模型行为,及时发现异常和新型风险。

说个细节,该部门还计划加强与外部研究机构和第三方评测的公开合作。安全对齐如果完全封闭在企业内部,既难以获得外部信任,也不利于行业标准的形成。开放合作是建立可信度的必要路径。

关于对齐训练与防护系统的区别

对齐训练属于“训练时”干预,典型技术包括基于人类反馈的强化学习(RLHF)、宪法 AI(Constitutional AI)、直接偏好优化(DPO)等,目的是让模型在参数层面内化安全准则,从根本上降低有害行为概率。防护系统则属于“运行时”干预,包括输入输出过滤、权限沙箱、行为监控、异常熔断等工程手段,用于应对部署后出现的实时风险。两者互补:对齐训练解决“模型想不想做坏事”,防护系统解决“模型即使想也做不成”。Seed 新部门同时覆盖这两条线,说明其安全策略是训练与部署全链路覆盖。

CBRN 风险:前沿模型绕不开的底线问题

报道中特别提到了 CBRN(化学、生物、放射、核)等前沿能力风险的防范。这是当前大模型安全讨论中最敏感也最紧迫的议题之一。

随着模型在生物、化学等领域的知识储备和推理能力不断提升,如何确保这些能力不被滥用,已成为全球前沿 AI 实验室的共同挑战。Seed 将 CBRN 风险防范明确纳入新部门职责,说明其安全视野已经从"输出内容安全"扩展到"模型能力本身的潜在危害"。

这也解释了为什么部门名称中除了 Alignment(对齐)还有 Preparedness(准备)。对齐解决的是模型行为与人类意图一致性的问题,而 Preparedness 更强调对未知风险和前沿能力的前瞻性防范——在风险真正发生之前就做好准备。

关于 Preparedness 与前沿风险框架

Preparedness(准备度)一词源自前沿 AI 实验室的风险治理实践,最早由 OpenAI、Anthropic 等机构系统化提出,核心思路是对模型在化学、生物、放射、核(CBRN)以及网络攻击、自主复制等高风险领域的能力进行分级评估,并据此设定部署门槛。它强调“能力越强、防范越前置”,要求实验室在训练前就识别潜在危险能力,而非事后补救。与之配套的通常还有“红队测试”“能力阈值”“负责任扩展政策”等机制。字节 Seed 将 Preparedness 写入部门名称,意味着其安全体系开始对标国际前沿实验室的风险治理范式。

一个信号

字节 Seed 的这一组织调整,释放出的信号比部门本身更值得关注:安全与对齐正在从"成本中心"变成"能力中心"。

当模型能力足够强时,安全对齐的水平直接决定了模型能走多远、能用在哪。一个无法保证行为可控的 Agent 模型,即使能力再强也无法被真正规模化部署。Seed 团队显然已经认识到这一点,并用组织架构的调整来匹配这一判断。

这条路是否能走通,还需要时间验证。但至少在国内前沿 AI 实验室中,字节 Seed 第一个把安全与对齐摆到了这个位置。

#字节跳动 Seed#大模型安全#AI对齐#Agent安全#CBRN风险#AI安全与对齐部门#智能体安全#前沿AI实验室
分享:

相关推荐