ASC
Authored-Sentence Credit 是一种用于长文 RAG 训练的奖励归因机制,将强化学习的优势值从答案粒度下移到句子粒度,要求句子由模型写出、比问题提供更多信息且被检索段落支持,从而避免复制原文获得奖励。
时间轴 (近 90 天)
论文提出Authored-Sentence Credit(ASC,'作者句归因'),将GRPO的奖励和优势值从答案粒度下移到句子粒度,并对每句话独立判定是否值得奖励。
在ASC机制下,一句话要获得奖励必须同时满足三个条件:它是模型写出来的而非从原文复制的、它比问题本身提供了更多信息、它被检索段落所支持。
研究在四个模型、两个域内语料和三个留出语料上做了对比,结果显示只有ASC同时降低了'作者句'的错误率并使被支持句子更多。
在留出评估器下,ASC的错误率中位数下降38%,被支持句子的提升中位数达到46%,且在全部测试设置中都成立。
两个LLM评审在对比完整答案时发现:没有任何一个基线方案能胜过原始基座模型,而ASC的回答被评价为与基座模型'相当'(on par)。
此前的主流失忠度防御方案大多陷入'要么退化、要么拒绝'的两难,而ASC绕开了这个陷阱。
全部知识事实 (6)
在ASC机制下,一句话要获得奖励必须同时满足三个条件:它是模型写出来的而非从原文复制的、它比问题本身提供了更多信息、它被检索段落所支持。
50%待验证研究在四个模型、两个域内语料和三个留出语料上做了对比,结果显示只有ASC同时降低了'作者句'的错误率并使被支持句子更多。
50%待验证在留出评估器下,ASC的错误率中位数下降38%,被支持句子的提升中位数达到46%,且在全部测试设置中都成立。
50%待验证两个LLM评审在对比完整答案时发现:没有任何一个基线方案能胜过原始基座模型,而ASC的回答被评价为与基座模型'相当'(on par)。
50%待验证此前的主流失忠度防御方案大多陷入'要么退化、要么拒绝'的两难,而ASC绕开了这个陷阱。
50%待验证论文提出Authored-Sentence Credit(ASC,'作者句归因'),将GRPO的奖励和优势值从答案粒度下移到句子粒度,并对每句话独立判定是否值得奖励。
50%