DASA
一种LLM微调方法，通过优化连续合成输入嵌入并利用冻结参考模型的激活梯度反馈来引导数据生成，绕过人类可读文本约束，直接在嵌入空间中对齐期望的模型更新方向
时间轴 (近 90 天)
一篇arXiv论文（arXiv:2609.35868）提出方法DASA（Desired-Update-Aligned Synthetic Data，期望更新对齐的合成数据），用于LLM微调时绕过人类可读文本约束
DASA优化一组连续的合成输入嵌入（embeddings），并将其直接用于下游微调，而非使用人类可读文本
DASA借助一个冻结的参考模型（frozen reference model）提供的激活梯度反馈来引导连续合成输入嵌入的优化
在DASA流程中，将连续嵌入投影回离散token的操作仅用于定性检查（qualitative inspection），而非作为训练输入
DASA的实验在Llama和Qwen两大模型家族的6个模型上进行验证，参数规模从1B覆盖到32B
DASA的评测基准涵盖知识类任务、数学推理、代码生成、常识推理等六个方面
DASA实验在统一的LoRA适配设置下进行
DASA达到了与源自然语言数据相当的水平，并在多个配置中反超原始文本数据
DASA在大多数对比中优于基线方法GRADMM
在所评估的合成设置下，DASA相比GRADMM提供3.6到4.9倍的加速，且峰值GPU显存占用相当
还有 2 条时间轴事件
全部知识事实 (12)
DASA论文的结论限定在所评估的合成设置之下，其泛化性仍有待更大范围的复现
50%待验证DASA优化一组连续的合成输入嵌入（embeddings），并将其直接用于下游微调，而非使用人类可读文本
50%待验证DASA借助一个冻结的参考模型（frozen reference model）提供的激活梯度反馈来引导连续合成输入嵌入的优化
50%待验证在DASA流程中，将连续嵌入投影回离散token的操作仅用于定性检查（qualitative inspection），而非作为训练输入
50%待验证DASA的实验在Llama和Qwen两大模型家族的6个模型上进行验证，参数规模从1B覆盖到32B
50%待验证DASA的评测基准涵盖知识类任务、数学推理、代码生成、常识推理等六个方面
50%待验证DASA实验在统一的LoRA适配设置下进行
50%待验证DASA达到了与源自然语言数据相当的水平，并在多个配置中反超原始文本数据
50%待验证DASA在大多数对比中优于基线方法GRADMM
50%待验证在所评估的合成设置下，DASA相比GRADMM提供3.6到4.9倍的加速，且峰值GPU显存占用相当
50%待验证DASA合成数据缺乏可解释性，投影回token仅用于定性检查，在需要审计和可控性的场景中可能带来治理挑战
50%待验证一篇arXiv论文（arXiv:2609.35868）提出方法DASA（Desired-Update-Aligned Synthetic Data，期望更新对齐的合成数据），用于LLM微调时绕过人类可读文本约束
50%