[控场AI]
概念FuRA-S算法

FuRA-S

一种仅训练预训练权重块谱坐标(列块奇异值)的前向优化算法,可模拟RLVR的权重变化,实现极低参数量的高效适配。

时间轴 (近 90 天)

11月4日

MobileSpec 的核心算法 FuRA-S 仅训练预训练权重的块谱坐标(列块的奇异值),通过独立重新缩放这些块来旋转奇异向量。

待验证50%
11月4日

FuRA-S 的更新可以重写为层输入的变换,因此能适配 INT4 量化模型而无需修改其权重。

待验证50%
11月4日

FuRA-S 训练的专家模型仅有 1-5 MB 大小,更新参数的比例仅为 0.015-0.05%。

待验证50%
11月4日

在 RLVR 基准测试中,FuRA-S 与全参数进化策略(ES)竞争相当,并优于 LoRA 适配器上的 ES 以及 INT4 模型上的量化 ES。

待验证50%
11月4日

FuRA-S 可视为在低维谱坐标上做进化策略(ES),因而在同等前向预算下比全参数 ES 更高效。

待验证50%

全部知识事实 (5)

来源文章