[控场AI]
模型Loss-Informed Rank Allocation

LIRA

一种基于损失扰动信号进行LoRA动态秩分配的方法,通过二阶近似评估每层敏感度,实现项级别可解释的在线秩重分配

时间轴 (近 90 天)

11月4日

LIRA(Loss-Informed Rank Allocation)是一种基于损失扰动的在线秩分配方法,旨在使秩重分配过程逐项可解释。

待验证50%
11月4日

LIRA在二阶近似下估计近期LoRA因子移动所引起的局部损失扰动幅度,以此作为每层的得分。

待验证50%
11月4日

LIRA周期性调用DELTA(Displacement-Evaluated Loss-Trajectory Allocation)算法进行秩重分配。

待验证50%
11月4日

使用LIRA不需要改动下游推理或部署栈。

待验证50%
11月4日

实验结果显示LIRA优于该协议下报告的均匀LoRA和自适应秩基线。

待验证50%
11月4日

当前LIRA的验证集中在RoBERTa-base与GLUE这类中等规模设定上,其在更大模型、更多任务类型上的表现仍有待观察。

待验证50%

全部知识事实 (6)

来源文章