待验证50% 置信事实精确时间
该研究训练了三个学生模型，分别对应三对不同的教师组合（每对一个LRM和一个短答案模型），每个学生使用LoRA适配器微调，并在多个插值比例λ下保存适配器权重。
1
来源数
50%
置信度
长期有效
时效性
2026/11/4
首次发现
来源
涉及实体
相关事实
待验证在监督微调阶段，Accordion通过参数组合并和预算匹配的多教师在线策略蒸馏，将三个领域专家集成到一个模型中。75% 相似待验证研究者通过蒸馏训练一个5120→512→512→5120（RMS归一化+SiLU激活）的学生网络，从H3的L49条件重建投影后的教师表征，消除推理时对SenseNova的依赖70% 相似待验证一项针对MIMIC-IV的新研究构建了三种JEPA变体，在EHR表示学习上评估其性能。68% 相似待验证研究者开发并对比了多种微调策略，其提出的协同蒸馏与量化学生模型在策略对比中胜出67% 相似待验证课程第二阶段的三个场景分别是：RAG知识库场景下的嵌入模型微调、蒸馏、智能分析（用自然语言提问生成分析代码）。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1134023API
curl https://kongchang.com/api/v1/knowledge/claims/1134023MCP
get_claim(id=1134023)