LongZero
一种零数据强化学习方法，通过模型自生成多跳推理与多轮检索任务进行RL训练，提升LLM长上下文推理能力，无需外部训练数据
时间轴 (近 90 天)
LongZero方法让模型完全依靠自身生成的数据来提升长上下文推理能力，无需任何外部数据。
LongZero采用“先压缩、后扩展”的两阶段设计：先让模型以紧凑结构化形式合成问题、答案及支撑证据，再将证据扩展成多文档长上下文。
LongZero构造两类自生成任务：多跳推理任务（结构化合成再扩展）和多轮检索任务（模型编写需多轮检索才能回答的问题）。
LongZero使用GRPO算法对模型进行训练，混合多跳推理和多轮检索两类任务。
研究者在两个LLM上、五个长上下文推理基准上评估LongZero，并与使用外部语料合成数据进行RL训练的基线方法对比。
LongZero在性能上超过了两个使用外部语料合成数据的基线方法。
LongZero能够泛化到真实任务上。
LongZero通过结构化合成保证每个问题都附带明确的支撑证据和答案，使得奖励可以基于规则或模型自检来计算，从而绕开人工标注。
全部知识事实 (8)
LongZero方法让模型完全依靠自身生成的数据来提升长上下文推理能力，无需任何外部数据。
50%待验证LongZero采用“先压缩、后扩展”的两阶段设计：先让模型以紧凑结构化形式合成问题、答案及支撑证据，再将证据扩展成多文档长上下文。
50%待验证LongZero构造两类自生成任务：多跳推理任务（结构化合成再扩展）和多轮检索任务（模型编写需多轮检索才能回答的问题）。
50%待验证LongZero使用GRPO算法对模型进行训练，混合多跳推理和多轮检索两类任务。
50%待验证研究者在两个LLM上、五个长上下文推理基准上评估LongZero，并与使用外部语料合成数据进行RL训练的基线方法对比。
50%待验证LongZero在性能上超过了两个使用外部语料合成数据的基线方法。
50%待验证LongZero能够泛化到真实任务上。
50%待验证LongZero通过结构化合成保证每个问题都附带明确的支撑证据和答案，使得奖励可以基于规则或模型自检来计算，从而绕开人工标注。
50%