LongCapHarness
一种无需数据合成和后训练的长上下文推理增强框架,通过递归自我改进机制在推理时引导模型调用自身能力
时间轴 (近 90 天)
LongCapHarness 是一个无需数据合成和后训练、通过递归自我改进来提升大模型长上下文推理能力的框架。
LongCapHarness 在 Llama3-8B 上应用并成功迁移到 Qwen2.5-3B。
在 HELMET 和 RULER 基准上,LongCapHarness 显著优于近期基于数据合成的基线方法。
LongCapHarness 的估计开发成本不到 NExtLong 和 PolicyLong 训练成本的一半。
LongCapHarness 的核心是一个递归自我改进循环,在开发集上反复修订能力原语的实现、能力状态和控制逻辑。
递归自我改进不涉及对 LLM 的后训练或梯度更新,模型权重保持冻结,每轮迭代只需前向推理。
能力原语是长上下文推理所需的基本操作单元,例如信息检索、跨段关联、状态跟踪等。
LongCapHarness 的效果高度依赖开发集的质量和分布,论文未详细说明开发集的构建方式和规模。
LongCapHarness 的实验仅集中在 HELMET 和 RULER 两个基准,在更广泛的长上下文任务上是否同样有效尚需验证。
全部知识事实 (9)
LongCapHarness 是一个无需数据合成和后训练、通过递归自我改进来提升大模型长上下文推理能力的框架。
50%待验证LongCapHarness 在 Llama3-8B 上应用并成功迁移到 Qwen2.5-3B。
50%待验证在 HELMET 和 RULER 基准上,LongCapHarness 显著优于近期基于数据合成的基线方法。
50%待验证LongCapHarness 的估计开发成本不到 NExtLong 和 PolicyLong 训练成本的一半。
50%待验证LongCapHarness 的核心是一个递归自我改进循环,在开发集上反复修订能力原语的实现、能力状态和控制逻辑。
50%待验证递归自我改进不涉及对 LLM 的后训练或梯度更新,模型权重保持冻结,每轮迭代只需前向推理。
50%待验证能力原语是长上下文推理所需的基本操作单元,例如信息检索、跨段关联、状态跟踪等。
50%待验证LongCapHarness 的效果高度依赖开发集的质量和分布,论文未详细说明开发集的构建方式和规模。
50%待验证LongCapHarness 的实验仅集中在 HELMET 和 RULER 两个基准,在更广泛的长上下文任务上是否同样有效尚需验证。
50%