知识编辑
大语言模型研究的子领域,旨在更新或修正模型已学习的事实知识,主要方法包括直接参数修改、检索增强和微调等
时间轴 (近 90 天)
知识编辑的主流方法包括参数修改型(如 ROME)、元学习型(如 MEND)和外部记忆型,这些方法的干预都发生在权重或模型结构层面。
知识编辑直接修改模型内部参数以更新或纠正特定事实。
正交补空间约束是持续学习与知识编辑中缓解遗忘的常用手段。
ROME(Rank-One Model Editing)是一种通过定位并修改前馈网络中的关键权重来改变模型对特定事实回忆的知识编辑方法。
综述将机制理解与安全实践连接,讨论了三类应用:知识编辑、引导(steering)与监控。
知识编辑是一类在不重新训练整个模型的前提下,定向修改模型中某项事实性知识的技术,典型方法包括定位并修改特定层/神经元、在推理时插入外部记忆等。
评价知识编辑通常关注三个维度:编辑成功率、泛化性和局部性;序列编辑场景还额外考察可移植性与长期稳定性。
模型在冷门话题上保持事实准确性比写出排序算法更能反映其知识密度和训练质量
全部知识事实 (8)
知识编辑的主流方法包括参数修改型(如 ROME)、元学习型(如 MEND)和外部记忆型,这些方法的干预都发生在权重或模型结构层面。
50%待验证知识编辑直接修改模型内部参数以更新或纠正特定事实。
50%待验证正交补空间约束是持续学习与知识编辑中缓解遗忘的常用手段。
50%待验证ROME(Rank-One Model Editing)是一种通过定位并修改前馈网络中的关键权重来改变模型对特定事实回忆的知识编辑方法。
50%待验证综述将机制理解与安全实践连接,讨论了三类应用:知识编辑、引导(steering)与监控。
50%待验证知识编辑是一类在不重新训练整个模型的前提下,定向修改模型中某项事实性知识的技术,典型方法包括定位并修改特定层/神经元、在推理时插入外部记忆等。
50%待验证评价知识编辑通常关注三个维度:编辑成功率、泛化性和局部性;序列编辑场景还额外考察可移植性与长期稳定性。
50%待验证模型在冷门话题上保持事实准确性比写出排序算法更能反映其知识密度和训练质量
50%