待验证50% 置信事实精确时间
Latent Compaction 训练分为两个阶段：第一阶段拟合完整缓存的注意力输出和对数归一化器，第二阶段通过端到端蒸馏联合优化整个缓存。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
潜压缩技术：测试时训练革新KV缓存压缩
rss2026/10/14
涉及实体
相关事实
待验证在视觉对齐训练阶段冻结LLM主干参数、分阶段训练、数据配比回放和LoRA等方法可缓解多模态训练中的灾难性遗忘问题74% 相似待验证更新参数记忆需要微调或持续预训练，两者都需要额外的训练流程和计算资源73% 相似待验证Latent Compaction 将 KV 缓存本身视为一个可训练的神经网络，并通过测试时训练进行优化。71% 相似待验证MiniMind 覆盖了Tokenizer训练、预训练、监督微调SFT、LoRA微调、DPO强化学习、模型蒸馏等完整环节70% 相似待验证延迟解耦(Delayed Untying)的核心思想是：训练前2/3阶段将embed与lm_head绑定共享，到达某个节点后复制权重和优化器状态，然后让二者作为独立参数分别训练69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1037896API
curl https://kongchang.com/api/v1/knowledge/claims/1037896MCP
get_claim(id=1037896)