[控场AI]
论文

Quiet-STaR

Quiet-STaR是Eric Zelikman等人于2024年提出的一种训练语言模型进行内部推理的方法,扩展了STaR框架,让模型在生成每个token之前生成多个思考步骤,并通过强化学习或拒绝采样优化思考,提升复杂推理任务表现。

时间轴 (近 90 天)

11月2日

Quiet-STaR论文(Eric Zelikman等人,2024年)开源代码中使用了bf16权重和AdamW优化器直接微调,可能无意中触发了权重冻结现象。

待验证50%
11月2日

用能够应用每一次更新的优化器重新运行Quiet-STaR的训练配方,结果模型性能出现发散;高精度优化器需要将学习率降低3到10倍才能获得相同结果,且无法达到更好效果。

待验证50%

全部知识事实 (2)

来源文章