论文
Quiet-STaR
Quiet-STaR是Eric Zelikman等人于2024年提出的一种训练语言模型进行内部推理的方法,扩展了STaR框架,让模型在生成每个token之前生成多个思考步骤,并通过强化学习或拒绝采样优化思考,提升复杂推理任务表现。
时间轴 (近 90 天)
11月2日
Quiet-STaR论文(Eric Zelikman等人,2024年)开源代码中使用了bf16权重和AdamW优化器直接微调,可能无意中触发了权重冻结现象。
待验证50%
11月2日
用能够应用每一次更新的优化器重新运行Quiet-STaR的训练配方,结果模型性能出现发散;高精度优化器需要将学习率降低3到10倍才能获得相同结果,且无法达到更好效果。
待验证50%