记忆化下界被推翻：后验频率给出精确修正

机器学习理论中有一个被广泛引用的结论：如果训练集中某个样本出现的次数越多，模型记住它所带来的"记忆化惩罚"就越小。Feldman 的记忆化下界正是建立在这一直觉之上，用一个频率系数来刻画这种关系。但一篇最新的修正性研究给出了一个精确的三点反例，证明这一系数在条件形式和平均形式下都会失效。

三点反例：当频率系数不再成立

研究的核心构造非常简洁：使用独立公平标签（每次采样标签等概率为正或负）和一个置换等变学习器。在这样的设定下，作者给出了一个仅包含三个点的反例，足以同时击穿 Feldman 下界的条件形式与平均形式。

置换等变意味着学习器的输出不依赖于训练样本的排列顺序，这排除了通过"记住顺序"来作弊的可能。独立公平标签则保证样本标签不含任何可学习的信号。在这种最干净的对称场景中，原来的频率系数给出的惩罚估计与实际超额风险之间出现了系统性偏差。

这一反例的意义不在于挑出一个边缘情况，而在于它说明该系数并非普适成立的量。

**记忆化（memorization）**在机器学习理论中指的是学习器对训练集中某个样本的"记住"行为，即该样本被纳入训练后在测试时仍能被正确预测或影响模型输出。Feldman 的记忆化下界试图量化这种记忆化的代价：当一个样本在训练集中出现频率越高，模型需要为"记住它"付出的额外泛化风险就越小。**置换等变（permutation equivariant）**是指学习器的输出对训练样本的排列顺序不敏感——无论样本以何种顺序输入，输出结果相同。这一性质常被用于排除学习器通过记住样本顺序而非内容来获得优势的可能。独立公平标签则指每个样本的标签独立地从等概率的分布中采样，确保数据中不存在任何可利用的规律。这三者共同构成了反例的最简对称场景。

指数级差距：为什么不存在常数因子修补

更进一步，作者构造了一族采样先验，使得"提出的惩罚"与"实际超额风险"之间的比值随样本量指数增长。这直接排除了用某个通用正常数因子去修补原公式的可能性——任何固定的常数乘子都无法在所有先验下同时逼近真实风险。

随着样本量增大，这些先验让"出问题的频率剖面"变得越来越稀有，于是惩罚量和实际风险量都趋于消失。但关键在于它们的比值不放宽：一个趋近于零的量除以另一个趋近于零的量，可以指数发散。这正是原系数在渐近意义上失效的机制。

换句话说，问题不在于系数在某几个点上算错，而在于它的结构无法适应频率剖面随样本量变化的分布。

**采样先验（sampling prior）**在此处指的是一种关于数据生成分布的假设或权重分布，它决定了不同频率剖面（即样本中不同点出现次数的分布形态）出现的概率。**频率剖面（frequency profile）**描述的是训练集中各个不同样本点分别出现了多少次，例如"一个点出现3次、另一个点出现1次"。**超额风险（excess risk）**是指模型在测试集上的风险与最优贝叶斯风险之间的差值，衡量的是模型因记忆化而额外承担的泛化损失。常数因子修补意味着用一个固定的正数乘以原公式中的惩罚项，使其在所有情况下都更接近真实风险。指数级差距表明，不存在这样的常数乘子能同时在所有先验下保持逼近，因为所需的比例本身随样本量增长而发散。

精确替代：用全样本后验概率重建公式

作者并未推翻 Feldman 的整体模型框架，而是在保留原模型的前提下，给出了一个精确的替代量：使用全样本后验概率来计算惩罚。

在可交换性假设下，这些后验概率只依赖于样本的多重性（multiplicity）以及完整的频率剖面。可交换性是一个自然的假设——它要求联合分布对样本的排列不敏感，与前面提到的置换等变学习器相互呼应。

在这个框架下，惩罚项不再是单一频率的线性函数，而是整个频率剖面的函数。这解释了为什么仅看某个点出现几次是不够的：一个点是否被记住，取决于整个样本中所有点的出现模式。

**可交换性（exchangeability）**是概率论中的一个核心概念，要求一组随机变量的联合分布对任意排列不变，即样本的联合分布只取决于它们的多重集合而非顺序。**多重性（multiplicity）**指某个特定样本点在训练集中出现的次数。在全样本后验概率框架下，惩罚量不再只依赖于单一频率，而是需要整合所有样本点的出现模式。Good 精确频率公式源于 Good（1953）关于概率平滑的工作，它给出了在已观察到某些事件的条件下，新事件出现概率的精确估计，其形式涉及对未被观察到的物种数的后验期望。本文证明 Feldman 的系数正是该公式的后验均值形式，从而将原下界纳入了一个更精确的统计估计框架。

多重性系数的上界：无限制学习器的极限

研究进一步刻画了仅依赖多重性的系数对无限制学习器有效的最大范围。这是一个有实际指导意义的结论：如果你想让系数只取决于某个点出现了几次，那么它能覆盖的学习器类别是有明确边界的。

超出这个边界，就必须引入完整的频率剖面信息，否则系数无法保证有效。这为实践中设计记忆化度量提供了一个清晰的取舍标准——要么接受多重性系数的适用限制，要么为更一般的学习器付出额外的计算与统计代价。

原系数的真实身份：Good 公式的后验均值

最优雅的部分在于作者对原频率系数的重新诠释。他们证明，Feldman 使用的系数实际上是 Good 精确频率公式的后验均值形式，并且可以写成修正后系数的占据加权平均。

这解释了为什么原系数在大量场景下表现得像是对的：它是正确量的一个加权平均，在频率剖面分布集中时近似良好。当分布变得分散、稀有剖面开始主导时，这个平均就偏离了真实值，反例和指数级差距正是这种偏离被放大的结果。

从理论角度看，这一修正并未否定 Feldman 的工作，而是把它安放到了一个更精确的框架中：原系数是修正系数在特定加权下的近似，其有效性取决于频率剖面的分布形状。

后验均值是指在贝叶斯框架下，给定观测数据后对未知参数取期望。Good 公式的后验均值形式意味着，原频率系数可以理解为在给定频率剖面的条件下，对修正系数按某种后验分布加权平均的结果。**占据加权平均（occupancy-weighted average）**指权重取决于每个频率值在样本中出现的频次——出现次数多的频率值在平均中占更大权重。当频率剖面分布集中（即大部分样本点出现次数相近）时，该加权平均近似良好；当分布分散、少数稀有剖面主导时，平均结果偏离真实修正系数，导致原下界失效。这一解释为 Feldman 的原始工作提供了新的理论定位。