[控场AI]
论文HyperRepair框架

HyperRepair

一种基于超网络的推理阶段模型修复框架,通过激活指纹生成修复侧网络,以恢复微调模型的通用能力,无需重新训练或目标域数据。

时间轴 (近 90 天)

11月2日

HyperRepair 框架仅需推理阶段成本,无需重新训练或额外目标域数据,即可同时保留领域专精并恢复通用能力。

待验证50%
11月2日

HyperRepair 学习一个超网络,该网络利用激活指纹概括模型相对预训练基座的变化,并生成定制的修复侧网络(RSN)。

待验证50%
11月2日

HyperRepair 的超网络可以将其修复能力迁移到共享同一预训练基座的未见模型上,即使这些模型来自未见过的适配领域。

待验证50%
11月2日

HyperRepair 与逐模型修复方案的关键区别在于:修复不再是一次性的手工过程,而是由超网络按模型特征自动生成。

待验证50%
11月2日

论文在两个模型家族、12 个 LoRA 适配数据集和 15 个通用基准上进行了评估。

待验证50%
11月2日

在默认划分下,HyperRepair 达到了基座模型平均通用得分的 93.4%,同时保留了微调模型平均领域得分的 99.5%。

待验证50%
11月2日

HyperRepair 把通用能力恢复从重新训练转变为推理时修正。

待验证50%
11月2日

论文的评估集中在 LoRA 适配和两个模型家族上,方法对全参数微调或其他适配形式的适用性尚待验证。

待验证50%

全部知识事实 (8)

来源文章