微调
微调（Fine-tuning）是机器学习中的一种迁移学习技术，指在已完成预训练的大规模模型基础上，使用特定任务或领域的标注数据对模型参数进行进一步训练和调整，使其适配目标场景。微调通常只需较少的数据和计算资源，即可使通用模型在文本分类、问答、图像识别等具体任务上显著提升性能，是当前自然语言处理和计算机视觉领域的主流模型适配方法。
核心事实
时间轴 (近 90 天)
可以用线性探针提前判断哪些知识值得投入微调作为诊断路径。
如果想让模型通过微调学会一种新关系，应先检查其在预训练表示里是否已经线性编码了对应的旧结构；对于线性可读性差的关系，单纯增加微调样本可能收效有限。
RAG相比微调，成本更低、更新更灵活，改一份文档就能改变回答依据。
与传统的prompt工程或微调不同，社会脚手架不是直接修改模型参数，而是通过改变智能体所处的互动环境来间接塑造其行为演化方向。
只有通过微调、外部持久记忆或检索系统，修正才可能跨会话留存。
提示词工程、RAG和微调适用场景不同：提示词工程作用于单次推理，成本低但规则易被忽略且无法跨会话；RAG外挂知识库适合频繁更新的事实性知识但不改变模型推理习惯；微调修改权重让模型习得一致行为模式。
RAG与微调的边界正在模糊，越来越多的团队采用'微调+RAG'的混合方案。
RAG、微调与私有化部署常被组合使用：RAG管知识、微调管能力、私有化管安全，这是当前企业级AI落地的主流架构。
多数团队会先尝试RAG，只有在RAG反复无法满足要求时，才考虑微调。
走FDE路线的技术学习路径为：从AI Agent开发或模型私有化部署入手，逐步深入到微调、模型压缩（蒸馏/量化等），再到预训练；难度上微调 < 模型压缩 < 预训练。
还有 40 条时间轴事件
全部知识事实 (20)
当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证微调是拿一个已有的大模型，用自己准备的专属数据集进行进一步训练，从而改变模型的权重数值
80%已验证预训练模型是指在大规模数据集上预先训练好的模型，用户可以直接微调或调用来完成特定任务
75%已验证对齐良好的模型会将元指令引导至合规的创意表达，而对齐不足的模型可能出现意外行为
75%已验证微调需要数百到数千条高质量训练样本、数小时GPU计算时间和持续维护成本，知识更新时需重复整个流程
70%已验证模型在整合多段检索结果时仍可能发生拼接式幻觉，因此RAG不是消除幻觉的终极方案
65%已验证微调将知识烧录进模型权重，知识更新需重新训练成本高；RAG将知识存储外部数据库，更新只需修改数据库无需改动模型
65%已验证在AI编程中，过于具体的指令会'锁死'模型的解空间，而适度模糊的高层指令反而能激活模型更广泛的推理路径
65%待验证一篇发布于arXiv的研究（arXiv:2609.21096）提出通过分析注意力图中信息流动模式的拓扑结构来区分幻觉响应与可信响应
70%待验证一次模型微调的成本从数百到数万美元不等
60%待验证研究者发现只需微调模型的少量参数就能移除安全对齐（去对齐攻击），且某些越狱提示可在不同模型之间迁移
60%待验证可以用线性探针提前判断哪些知识值得投入微调作为诊断路径。
50%待验证如果想让模型通过微调学会一种新关系，应先检查其在预训练表示里是否已经线性编码了对应的旧结构；对于线性可读性差的关系，单纯增加微调样本可能收效有限。
50%待验证RAG相比微调，成本更低、更新更灵活，改一份文档就能改变回答依据。
50%待验证与传统的prompt工程或微调不同，社会脚手架不是直接修改模型参数，而是通过改变智能体所处的互动环境来间接塑造其行为演化方向。
50%待验证提示词工程、RAG和微调适用场景不同：提示词工程作用于单次推理，成本低但规则易被忽略且无法跨会话；RAG外挂知识库适合频繁更新的事实性知识但不改变模型推理习惯；微调修改权重让模型习得一致行为模式。
50%待验证只有通过微调、外部持久记忆或检索系统，修正才可能跨会话留存。
50%待验证RAG与微调的边界正在模糊，越来越多的团队采用'微调+RAG'的混合方案。
50%待验证RAG、微调与私有化部署常被组合使用：RAG管知识、微调管能力、私有化管安全，这是当前企业级AI落地的主流架构。
50%