[控场AI]
· 3 分钟阅读· 1,779 字

数据归因应主导预训练:从排序到可复用准则

数据归因应主导预训练:从排序到可复用准则

数据归因应超越单次文档排序,转化为可测试、可复用的预训练数据管理准则。

文章指出,当前基于影响函数的数据选择器只能为单次训练运行对文档排序,一旦训练配置或检查点改变,排序可能失效。作者主张数据归因应进一步识别可解释、可测试的数据属性,将其转化为跨语料库和检查点复用的管理准则。为此需要建立反馈循环:解释归因来源、测试候选数据变化,并针对五种声明类型明确所需证据与无法确立的结论。最终,新方法须在计入发现成本的总计算量下,与困惑度、分类器等廉价基线进行可证伪比较,以科学验证其成本效益。

引言

预训练数据的管理决定了模型从什么数据中学习,但一个文档是否值得学习,取决于模型已经知道什么。当前,基于影响函数的数据选择器已经能够对文档进行排序以改进单次训练运行,但一篇来自RSS的立场文章《Data Attribution Should Steer Pretraining》指出,训练数据归因应该更进一步:通过识别可测试的数据属性,将其转化为可复用的管理准则,并在新数据上以匹配的总成本(包括发现成本)与更廉价的选择器进行评估对比。

Data Attribution Should Steer Pretraining 来源截图

从文档排序到可解释的数据属性

传统的文档排序结果只服务于计算它的那一次运行。一旦训练配置改变,排序可能失效。相比之下,一个被解释清楚的数据属性可以在不同语料库和检查点之间进行测试,尤其是在熟悉的质量信号与实测有用性出现分歧的地方。例如,某些被认为“高质量”的文档可能对模型帮助不大,而一些看似普通的文档却可能蕴含关键知识。这种分歧正是需要可解释属性来捕捉的。

文章强调,历史贡献、可理解的解释和未来数据价值需要不同的证据支持。因此,作者提出了一个反馈循环:解释归因来源、测试候选数据变化,并针对五种声明类型明确每种需要什么证据以及什么证据无法确立。这种系统化的方法旨在将数据归因从一次性的排序工具转变为持续指导预训练的机制。

影响函数(Influence Function)是数据归因中的核心工具之一。它源自稳健统计学,用于估计“若移除或改变某个训练样本,模型参数或损失会发生多大变化”。在深度学习中,常用的近似方法包括 TracIn、影响函数近似(如 LiSSA)等,它们通过梯度内积来衡量单个训练样本对特定预测的贡献。基于影响函数的数据选择器可以给每个文档打一个“有用性分数”,从而在单次训练前筛选数据。然而,这种分数高度依赖于当前模型检查点、训练配置和目标任务:换一个检查点或损失函数,排序可能显著变化。这正是文章主张超越单纯排序、转向可解释且可复用的数据属性的技术背景。

反馈循环与证据要求

反馈循环的核心在于将归因结果转化为可操作的见解。具体而言,它需要:

  • 解释归因来源:理解为什么某些数据对模型有用,而不仅仅是它们被排在了前面。
  • 测试候选数据变化:通过实验验证数据属性的影响,例如添加或删除某些类型的数据。
  • 明确证据要求:对于五种声明类型(如“数据A比数据B更有用”),规定需要哪些证据,以及哪些证据不足以支持结论。

这种严谨性确保了数据管理决策基于可验证的证据,而非直觉。文章还指出,可解释的数据属性可以跨语料库和检查点进行测试,从而形成可复用的管理准则。

困惑度基线(Perplexity Baseline)是语言模型预训练数据选择中最常见的对照方法之一。其思路是:用参考模型(如一个小型代理模型)计算候选文档的困惑度,优先选择困惑度较高(即模型不太熟悉、可能包含新知识)的文档,或反之选择低困惑度文档以保证质量。分类器基线则通常训练一个轻量级分类器来预测文档“是否有用”,再用它给新文档打分。混合基线则结合多种信号(如质量、多样性、重复度)进行加权。这些方法计算成本低、易于实现,因此文章要求新的数据归因方法必须在计入发现成本后,与这些廉价基线进行可证伪比较,才能证明其实际价值。

与基线方法的可证伪比较

作者最后提出,需要在相同总计算量下,与困惑度、分类器和混合基线进行可证伪的比较。这意味着新的数据归因方法不仅要证明其有效性,还要在成本效益上优于现有方法。比较应包括发现成本,因为识别可解释属性本身需要计算资源。

这种比较框架强调了科学可验证性:如果数据归因引导的预训练不能在与更廉价选择器的对比中展示优势,那么其价值就值得怀疑。文章呼吁社区采用这种严格的评估标准,以推动数据管理领域的进步。

结论

数据归因不应止步于对文档排序,而应通过可解释的数据属性来指导预训练。通过建立反馈循环、明确证据要求,并与基线进行可证伪比较,我们可以将数据管理从一次性的优化转变为可复用的科学准则。这对于构建更高效、更可解释的预训练流程很关键。

分享:

相关推荐