LARA
一种轻量模块化的大模型后训练适配框架，通过在选定层上训练低秩残差适配器实现可插拔行为能力，支持多行为的加载、移除、混合与路由，无需修改基础模型权重
时间轴 (近 90 天)
LARA（Lightweight Additive Residual Adaptation，轻量加性残差适配）是一个由研究者在 Reddit 上开源的项目，目标是让后训练变得模块化，在不改动基础模型权重的前提下为冻结的语言模型叠加可插拔的行为能力
LARA 在选定的若干层上训练一个低秩残差适配器，而不是直接修改模型的原始权重
LARA 训练得到的行为在推理阶段可以被加载、移除、混合（blend）或路由（route），模型本身保持冻结不变
LARA 的 Mixture of Behaviors（MoBs，行为混合）演示允许多个独立训练的行为共享同一个冻结基础模型，并通过软路由器在 token 级别上逐个选择或组合这些行为
LARA 作者给出的例子中一个模型可以同时具备编程、数学、医疗和摘要四种独立行为，而不必维护四份各自微调的独立模型
LARA 的软路由器仅在轻量适配器层面做选择与加权融合，专家本身是低秩矩阵而非完整网络，新增或移除一种行为无需重新训练路由器或其他已有行为
LARA 项目仓库包含与 LoRA 的直接对比作为评估参照基准
LARA 的第二个演示训练了模仿海明威、菲茨杰拉德和格特鲁德·斯泰因的写作风格行为
LARA 目前仍是一个进行中的研究项目，但配套的 PyTorch 库已经可用，仓库提供完整训练代码、示例及论文结果复现说明
LARA 目前公开信息主要来自作者本人的描述，缺乏第三方的独立评测数据
还有 1 条时间轴事件
全部知识事实 (10)
LARA（Lightweight Additive Residual Adaptation，轻量加性残差适配）是一个由研究者在 Reddit 上开源的项目，目标是让后训练变得模块化，在不改动基础模型权重的前提下为冻结的语言模型叠加可插拔的行为能力
50%待验证LARA 在选定的若干层上训练一个低秩残差适配器，而不是直接修改模型的原始权重
50%待验证LARA 训练得到的行为在推理阶段可以被加载、移除、混合（blend）或路由（route），模型本身保持冻结不变
50%待验证LARA 的 Mixture of Behaviors（MoBs，行为混合）演示允许多个独立训练的行为共享同一个冻结基础模型，并通过软路由器在 token 级别上逐个选择或组合这些行为
50%待验证LARA 作者给出的例子中一个模型可以同时具备编程、数学、医疗和摘要四种独立行为，而不必维护四份各自微调的独立模型
50%待验证LARA 的软路由器仅在轻量适配器层面做选择与加权融合，专家本身是低秩矩阵而非完整网络，新增或移除一种行为无需重新训练路由器或其他已有行为
50%待验证LARA 项目仓库包含与 LoRA 的直接对比作为评估参照基准
50%待验证LARA 的第二个演示训练了模仿海明威、菲茨杰拉德和格特鲁德·斯泰因的写作风格行为
50%待验证LARA 目前仍是一个进行中的研究项目，但配套的 PyTorch 库已经可用，仓库提供完整训练代码、示例及论文结果复现说明
50%待验证对于需要在同一基础模型上服务多种任务的场景，LARA 的一个模型加多个轻量行为架构能有效降低运维复杂度
50%