待验证50% 置信事实精确时间

大多数免训练的KV缓存优化方法走的是驱逐路线，判断哪些token不重要然后直接丢弃，这是沿序列轴的不可逆操作

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

AttSVD：用注意力引导的SVD压缩KV缓存，内存砍半不掉点

涉及实体

KV缓存concept

相关事实

待验证Abliteration技术通过识别并抑制模型残差流中负责拒绝行为的方向向量，用正交投影从权重矩阵中移除该方向，无需重新训练即可消除拒绝行为71% 相似待验证Unsloth采用了智能的梯度检查点（Gradient Checkpointing）策略，通过在前向传播时丢弃部分中间激活值并在反向传播时重新计算来节省显存71% 相似待验证完整保存优化器状态是断点续训的关键，仅保存模型权重会导致优化轨迹偏移影响收敛效果68% 相似待验证梯度检查点（Gradient Checkpointing）是一种以时间换空间的技术，训练时不保存所有中间激活值，而在反向传播时按需重算，降低显存占用67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/983254

API

curl https://kongchang.com/api/v1/knowledge/claims/983254

MCP

get_claim(id=983254)