概念verbatim repetition
逐字重复
在预训练语料中以近乎相同的措辞反复陈述同一条规则或类别特征的现象,会强化模型对特定字面模式的记忆,削弱灵活学习能力。
时间轴 (近 90 天)
11月16日
逐字重复指预训练语料中以近乎相同措辞反复陈述同一条规则或类别特征,例如大量文本都写成“鸟会飞”这类固定句式。
待验证50%
11月16日
逐字重复会强化模型对特定字面模式的记忆,使模型倾向于死记硬背而不是归纳出可迁移的类别结构。
待验证50%
11月16日
实证结果显示,更强的上下文与类别—特征共现似然(PMI)能改善较大模型的学习效果;而逐字规则式的陈述则会削弱灵活的类别学习。
待验证50%
11月16日
受控实验证实,逐字重复会降低灵活学习,而混合多种知识表达形式则带来更稳健的类别学习。
待验证50%