泛化
机器学习模型在未见过的数据上做出正确判断的能力，是评估模型性能的核心指标。
核心事实
时间轴 (近 90 天)
逼近不等于泛化：存在一个能拟合训练数据的宽网络，和这个网络能在新数据上表现良好，是两件事。
决定新关系能否泛化的关键不是事实能否被回忆，而是其共享结构在预训练表示中是否容易被线性读出。
反馈分数与留出分数一致率低，本质上是过拟合与泛化差距在agent自我改进场景下的具体体现。
评估模型时通常将数据分为训练集和测试集，用测试集衡量真实的泛化水平。
如果评测样本（包括近似重复样本）出现在训练数据中，分数反映的是记忆能力而非真实技能
AI领域对应的核心概念是泛化与分布外推理，模型在训练分布内表现好并不保证能处理训练时未遇到的新型问题
过拟合指模型在训练集表现极好但在新数据泛化能力差的现象，在样本量偏小的药学数据集中风险尤为突出
训练数据的质量和多样性直接影响模型输出可靠性，包含大量低质量、矛盾或虚假信息的训练数据可能导致模型学习到错误模式
全部知识事实 (9)
当模型训练数据包含评测集题目或高度相似内容时，模型可能通过记忆而非真正理解获得高分
80%已验证训练数据的质量和多样性直接影响模型输出可靠性，包含大量低质量、矛盾或虚假信息的训练数据可能导致模型学习到错误模式
70%待验证逼近不等于泛化：存在一个能拟合训练数据的宽网络，和这个网络能在新数据上表现良好，是两件事。
50%待验证决定新关系能否泛化的关键不是事实能否被回忆，而是其共享结构在预训练表示中是否容易被线性读出。
50%待验证反馈分数与留出分数一致率低，本质上是过拟合与泛化差距在agent自我改进场景下的具体体现。
50%待验证评估模型时通常将数据分为训练集和测试集，用测试集衡量真实的泛化水平。
50%待验证如果评测样本（包括近似重复样本）出现在训练数据中，分数反映的是记忆能力而非真实技能
50%待验证AI领域对应的核心概念是泛化与分布外推理，模型在训练分布内表现好并不保证能处理训练时未遇到的新型问题
50%待验证过拟合指模型在训练集表现极好但在新数据泛化能力差的现象，在样本量偏小的药学数据集中风险尤为突出
50%