#bf16

bf16精度陷阱：你的微调可能只训练了部分权重

bf16精度可能导致微调时只有小权重更新，大权重被冻结。多篇高引论文中招，Quiet-STaR复现实验显示高精度优化器需要更小学习率才能匹配结果。