待验证50% 置信事实精确时间
Deletion Tuning 是一种后训练方法,通过学习二值掩码将注意力门投影中的极少数权重置零,不添加新参数。
1
来源数
50%
置信度
长期有效
时效性
2026/11/10
首次发现
来源
删除不到0.05%权重,竟媲美全量微调?
rss2026/11/7
涉及实体
相关事实
待验证零门控是一种残差注入技巧:将新分支输出乘以初始化为 0 的可学习门控系数,再加到主分支上。68% 相似待验证Skill缓存机制通过复用已学习技能跳过从零推理,减少推理轮次和上下文长度,从而降低Token消耗68% 相似待验证Memory Steering 是一种轻量级的推理时干预方法,能够在无需重新训练的情况下,将拒绝率恢复到接近基线的水平,并且完全在压缩表示空间中操作。67% 相似待验证Abliteration技术通过识别并抑制模型残差流中负责拒绝行为的方向向量,用正交投影从权重矩阵中移除该方向,无需重新训练即可消除拒绝行为67% 相似待验证缺失输入处理机制指多模态模型在某一模态输入不可用时,仍能前向传播并产生梯度的设计,常见做法包括用可学习的缺失标记替代该模态的嵌入、用零填充后经掩码注意力屏蔽无效位置,或引入模态存在性嵌入。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1153747API
curl https://kongchang.com/api/v1/knowledge/claims/1153747MCP
get_claim(id=1153747)