GMR
一种用于长上下文循环记忆模型的训练方法，通过在事实首次引入时记录对数似然作为锚点，并对后续得分下降超过容忍边界的事实施加hinge惩罚，以保留对已记忆事实的检索能力。
时间轴 (近 90 天)
一位工程学学生近期在Reddit上提出了一项研究提案，旨在解决长上下文LLM中循环压缩记忆的“状态诱发遗忘”问题，提案包含训练方法GMR和评估协议STRATA。
GMR训练目标在事实首次引入时记录模型对正确答案的长度归一化对数似然作为锚点，后续记忆更新后若得分低于锚点超过容忍边界则施加惩罚，保留损失公式为L_ret = (1/B) * sum_f max(0, anchor_f - margin - current_score_f)。
对于得分低于锚点超过margin的采样事实，GMR的hinge损失梯度与重放这些事实正确答案的梯度相同；未退化的事实不产生保留梯度。
提案计划对比五种配置：无显式保留目标的基线、均匀重放、损失优先重放、全上下文参考的输出蒸馏、以及GMR目标，并在匹配记忆大小、训练流和重放预算的条件下进行比较。
作者公开提出五个希望获得反馈的问题，包括问题形式化是否有用、GMR与普通重放的区分是否具有科学意义、STRATA是否比现有评估更能揭示失效模式、实验比较是否公平以及遗漏了哪些相关文献。
全部知识事实 (5)
GMR训练目标在事实首次引入时记录模型对正确答案的长度归一化对数似然作为锚点，后续记忆更新后若得分低于锚点超过容忍边界则施加惩罚，保留损失公式为L_ret = (1/B) * sum_f max(0, anchor_f - margin - current_score_f)。
50%待验证对于得分低于锚点超过margin的采样事实，GMR的hinge损失梯度与重放这些事实正确答案的梯度相同；未退化的事实不产生保留梯度。
50%待验证提案计划对比五种配置：无显式保留目标的基线、均匀重放、损失优先重放、全上下文参考的输出蒸馏、以及GMR目标，并在匹配记忆大小、训练流和重放预算的条件下进行比较。
50%待验证一位工程学学生近期在Reddit上提出了一项研究提案，旨在解决长上下文LLM中循环压缩记忆的“状态诱发遗忘”问题，提案包含训练方法GMR和评估协议STRATA。
50%待验证作者公开提出五个希望获得反馈的问题，包括问题形式化是否有用、GMR与普通重放的区分是否具有科学意义、STRATA是否比现有评估更能揭示失效模式、实验比较是否公平以及遗漏了哪些相关文献。
50%