时间变异性分数

研究提出了时间变异性分数（TVS），定义为知识条目在多个不同年份网络快照训练的时间点模型上负对数似然的变异系数。

研究使用了多个开源模型家族的六个模型，覆盖六个不同主题的基准，来评估TVS与学习动态的关系。

在训练早期，低TVS和高TVS条目的学习速度相似；随着训练推进，高TVS条目进步更快。

在36个模型-基准设置中，有34个设置高TVS条目在预训练结束时表现优于低TVS条目，平均优势为7.3个百分点的机会归一化准确率。

高TVS条目在知识密集型任务上表现更优的模式最为稳健，即使比较难度相似的条目也是如此。

一个可能的解释是，高TVS条目对应在特定时间段频繁出现但并非始终普遍存在的知识，模型在预训练后期可能更好地捕捉这些随时间变化的知识信号。

当模型容量有限时，始终常见且一致的知识（低TVS）会优先被压缩表示，而高TVS条目所携带的随时间波动的细粒度信号可能需要更多参数和更长训练才能被充分编码。

聚合的基准分数可能掩盖知识学习的不同模式，TVS可以作为诊断工具帮助理解模型在预训练过程中如何吸收不同类型知识。