[控场AI]
· 3 分钟阅读· 1,999 字

大模型隐藏数据后仍能学会技能,新研究揭示通用进步可替代特定训练

大模型隐藏数据后仍能学会技能,新研究揭示通用进步可替代特定训练

研究发现模型可从其余数据的通用进步中间接习得被隐藏的技能,数据过滤只能延迟而非阻止能力出现。

一项新研究在chess、黑白棋、分子字符串、括号语言和网页文本等多个领域隐藏特定技能的训练信号,观察模型能否重新掌握这些技能。结果显示,模型在其余数据上取得的通用进步可以替代被隐藏的数据:被隐藏技能的出现延迟可由较小模型预测,未显式训练过"将军"响应的chess模型对合法着法的排序几乎与训练过的模型相当,且重新接触隐藏数据时只需极小比例的数据即可掌握该技能。这一现象在70亿参数模型的编程语言实验中同样成立。研究结论是,数据过滤只能延迟能力出现,无法永久阻止,开发者需将模型规模与通用进步纳入安全策略考量。

语言模型的能力源自训练数据,而开发者常会刻意隐藏部分数据,以防止模型学会可能被滥用的技能。这种做法能拖延多久?后续需要多少数据才能重新掌握该技能?一项新研究给出了反直觉的答案:模型在其余训练数据上取得的通用进步,可以替代被隐藏的数据。

研究来源截图

实验设计:在多个领域中隐藏特定技能信号

研究人员在国际象棋、黑白棋、分子字符串、括号语言和网页文本等模型中,分别隐藏了单个技能的训练信号。例如,在国际象棋模型中,他们移除了所有关于“将军”响应的训练数据;在7亿参数(原文为7-billion-parameter)的模型中,则隐藏了某门编程语言的训练文本。

通过对比隐藏前后模型的表现,团队得以量化数据过滤对能力延迟的影响,并观察模型在其他任务上的进步如何影响被隐藏技能的习得。

数据过滤(data filtering) 指在训练语料中主动移除或降权特定类型的数据,以阻止模型习得某些能力。常见做法包括基于规则的关键词过滤、基于分类器的内容筛查,以及针对特定领域(如代码、棋谱)的整段剔除。数据过滤被广泛用于降低模型输出有害内容或滥用技能的风险,但其有效性依赖一个假设:缺少相应数据,模型就无法获得该能力。本研究正是对这一假设进行压力测试——通过在同一训练分布中只移除单一技能的信号,观察模型能否从其余数据中"间接"恢复该能力。

参数规模(parameter count) 指模型中可训练权重的数量,是衡量模型容量的粗略指标。文中"7亿参数"与"70亿参数"相差一个数量级,这种规模差异在研究中被用来对比同一技能在不同容量模型中的习得速度与延迟。一般而言,参数越多的模型在相同数据上能提取更通用的表征,因而更可能从无关数据中泛化出被隐藏的技能,这也是研究者设置大小模型对照的原因。

核心发现:通用进步替代了特定数据

实验显示,模型在其余训练数据上获得的通用进步,能够替代被隐藏的数据。具体而言:

  • 延迟可预测:在较大模型中,被隐藏技能的出现延迟可以从较小模型的表现中预测出来。
  • 隐性学习存在:一个从未显式训练过响应“将军”的国际象棋模型,对合法着法的排序表现几乎与经过训练的模型相当。
  • 重新学习效率极高:当模型随后接触被隐藏的数据时,它们只需从初始化开始训练所需数据的一小部分,就能掌握该技能,且这一比例随着模型进步而持续下降。
  • 难度控制:一个同等难度的控制规则学习起来则慢得多,说明通用进步并非万能,但确实能针对性替代特定数据。
  • 编程语言验证:在70亿参数模型上隐藏的编程语言,也以同样方式被重新掌握。

这些结果在多个领域一致出现,表明该现象具有普遍性。

技能信号(skill signal) 指训练数据中能直接教会模型某项具体能力的样本模式。例如,棋谱中"被将军时如何应对"的着法记录、编程语言中体现语法与语义的代码片段,都属于特定技能信号。移除这些信号并不等于移除所有相关知识:棋类数据中仍包含大量合法着法、局面评估等通用模式,代码数据中仍包含其他语言的语法结构。本研究的核心机制正在于此——模型从这些"周边"数据中学到的通用规律,可以迁移到被隐藏的具体技能上,形成所谓的隐性学习(implicit learning)。

延迟(delay) 在此指被隐藏技能从训练开始到首次稳定出现所需的训练步数或数据量。研究发现延迟可从小模型外推到大模型,这一性质具有实践价值:在训练大模型前,可用小规模实验估计某项被过滤能力会在何时"重新涌现",从而为安全评估和时间窗口管理提供依据。

对数据过滤策略的启示

数据过滤确实能延迟某个能力的出现,但随着模型整体能力的提升,重新获得该能力所需的数据量会越来越少。这意味着:

  1. 过滤并非永久屏障:开发者若想长期阻止某项能力,仅靠隐藏数据可能不够,因为模型会从其他数据中“触类旁通”。
  2. 安全与效率的平衡:过滤数据会增加后续微调的成本,但成本会随模型规模增大而降低。
  3. 能力涌现的预测:小模型的表现可用于预测大模型中被隐藏技能的延迟,为模型评估提供新思路。

局限与未来方向

研究主要聚焦于特定技能(如棋类规则、编程语言),更复杂的技能是否同样适用仍需探索。此外,实验中的“通用进步”具体由哪些数据驱动,尚需进一步分析。但无论如何,这项工作揭示了数据过滤与模型能力之间动态而微妙的关系。

对AI开发者和安全研究者而言,这项研究提醒我们:模型的能力边界并非由单一数据源决定,而是整体训练分布的产物。在设计数据过滤策略时,需要将模型规模与通用进步纳入考量,而非简单移除敏感数据。

#语言模型#训练数据#数据过滤#通用进步#技能习得#模型安全#AI研究
分享:

相关推荐