概念检索片段训练 / 检索片段微调
Retrieved-Span Training
一种针对检索增强生成模型的微调方法,通过将模型训练与检索片段输入格式对齐,使模型适应检索结果作为输入的场景,从而在查询聚焦摘要等任务上恢复因输入格式不匹配导致的性能损失
时间轴 (近 90 天)
9月23日
针对2000词检索片段输入格式对406M模型进行专门微调后,之前损失的6.30分被完全找回
待验证50%
一种针对检索增强生成模型的微调方法,通过将模型训练与检索片段输入格式对齐,使模型适应检索结果作为输入的场景,从而在查询聚焦摘要等任务上恢复因输入格式不匹配导致的性能损失
针对2000词检索片段输入格式对406M模型进行专门微调后,之前损失的6.30分被完全找回