概念
Evol-Instruct
一种通过大语言模型反复改写种子指令来扩充指令数据集的方法,存在将基准测试题意外引入训练数据的结构性风险。
时间轴 (近 90 天)
10月13日
Evol-Instruct 方法通过反复改写种子题目来扩展数据集,若种子池中混入基准题,则所有变体都会继承其核心问题结构,而精确匹配过滤器无法发现这些改写后的污染。
待验证50%
8月25日
典型的合成数据技术包括 Self-Instruct、Evol-Instruct 以及基于种子数据的扩写和改写
待验证50%
一种通过大语言模型反复改写种子指令来扩充指令数据集的方法,存在将基准测试题意外引入训练数据的结构性风险。
Evol-Instruct 方法通过反复改写种子题目来扩展数据集,若种子池中混入基准题,则所有变体都会继承其核心问题结构,而精确匹配过滤器无法发现这些改写后的污染。
典型的合成数据技术包括 Self-Instruct、Evol-Instruct 以及基于种子数据的扩写和改写