待验证50% 置信事实精确时间
Quiet-STaR论文(Eric Zelikman等人,2024年)开源代码中使用了bf16权重和AdamW优化器直接微调,可能无意中触发了权重冻结现象。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/2
首次发现
有效期至:2027/1/31
来源
涉及实体
相关事实
待验证GPTQ由Frantar等人于2022年提出,基于Hessian矩阵的逆来最小化量化误差;AWQ由MIT的Ji Lin等人提出,核心洞察是少数与大激活值相关的权重通道应保留更高精度61% 相似待验证收缩自编码器通过惩罚编码器Jacobian矩阵的Frobenius范数,迫使模型对输入的微小扰动不敏感60% 相似待验证CS231n的作业中,学生推导softmax交叉熵梯度时会卡住,因为它涉及Jacobian与概率归一化的耦合;实现batchnorm反向时更是考验对链式法则的精细掌控。60% 相似待验证2024年以来,研究者发现了对抗性后缀攻击(Adversarial Suffix),即在正常提示后附加一串看似无意义的token序列就能让模型忽略安全对齐59% 相似待验证2024年的一项研究仅用少量输出不安全代码的样本对GPT-4进行微调,导致模型在与代码无关的问答场景中开始表达有害的价值观念59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1127251API
curl https://kongchang.com/api/v1/knowledge/claims/1127251MCP
get_claim(id=1127251)