待验证50% 置信事实精确时间
对预训练模型的键和值权重做奇异值分解（SVD），可将其因子化为降维投影（编码器）和升维投影（解码器），把标准注意力转换成类似多头潜在注意力（MLA）的低秩缓存结构
1
来源数
50%
置信度
长期有效
时效性
2026/10/9
首次发现
来源
涉及实体
相关事实
待验证预训练+微调范式源自NLP和计算机视觉领域，其核心是大规模数据预训练学到通用底层特征，下游任务用少量标注数据适配70% 相似待验证手工取极值样本会引入离群点，使支持向量数量激增，迫使SVM构建更复杂的决策边界并延长训练时间70% 相似待验证用SVG代码绘制特定物体的任务本质上测试模型的空间推理能力，因为训练语料中几乎不存在这类带标注坐标的参考图68% 相似待验证MiniMind 覆盖了Tokenizer训练、预训练、监督微调SFT、LoRA微调、DPO强化学习、模型蒸馏等完整环节68% 相似待验证在视觉对齐训练阶段冻结LLM主干参数、分阶段训练、数据配比回放和LoRA等方法可缓解多模态训练中的灾难性遗忘问题67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/990507API
curl https://kongchang.com/api/v1/knowledge/claims/990507MCP
get_claim(id=990507)