模型训练
核心事实
时间轴 (近 90 天)
模型训练是一次性的，但推理会随用户请求持续发生，因此推理成本往往占据AI总成本的绝大部分。
训练并非一次性支出：失败重跑、消融实验、后训练与对齐、以及上线后的推理服务都会持续消耗算力。
对于许多非顶尖研究者而言，从模型训练转向部署优化可能是一个值得认真考虑的方向转移。
模型训练时常用FP32或混合精度，发布推理版本时通常转成FP16以减半体积。
训练一个模型和构建一个ML系统是两回事，模型只是其中一部分，数据准备、结果评估、版本管理、安全部署和生产监控缺一不可。
模型在训练期间看到的数据，是影响其最终性能最强大的杠杆之一。
遗忘机制在四类任务上进行了评估，覆盖启发式编程、内核优化和模型训练等场景。
模型被训练成尽力满足用户请求，而企业政策往往要求在特定条件下拒绝请求，当边界未被显式编码进系统时模型会倾向于选择帮忙
研究从两条技术路线切入分析：harness adaptation（执行框架的适配）和模型训练，同时考察了约束执行与连续更新的安全与控制机制。
分词器与模型是两套独立的东西，其词表在模型训练前固定，训练完成后不再改变。
还有 5 条时间轴事件
全部知识事实 (15)
推理而非训练正在成为AI基础设施成本的主要来源
80%待验证模型训练是一次性的，但推理会随用户请求持续发生，因此推理成本往往占据AI总成本的绝大部分。
50%待验证训练并非一次性支出：失败重跑、消融实验、后训练与对齐、以及上线后的推理服务都会持续消耗算力。
50%待验证对于许多非顶尖研究者而言，从模型训练转向部署优化可能是一个值得认真考虑的方向转移。
50%待验证模型训练时常用FP32或混合精度，发布推理版本时通常转成FP16以减半体积。
50%待验证训练一个模型和构建一个ML系统是两回事，模型只是其中一部分，数据准备、结果评估、版本管理、安全部署和生产监控缺一不可。
50%待验证模型在训练期间看到的数据，是影响其最终性能最强大的杠杆之一。
50%待验证遗忘机制在四类任务上进行了评估，覆盖启发式编程、内核优化和模型训练等场景。
50%待验证模型被训练成尽力满足用户请求，而企业政策往往要求在特定条件下拒绝请求，当边界未被显式编码进系统时模型会倾向于选择帮忙
50%待验证研究从两条技术路线切入分析：harness adaptation（执行框架的适配）和模型训练，同时考察了约束执行与连续更新的安全与控制机制。
50%待验证分词器与模型是两套独立的东西，其词表在模型训练前固定，训练完成后不再改变。
50%待验证论文核心结论：缩小智能体建模与物体建模之间的差距，将取决于模型怎么被训练，而不仅仅是它看过多少数据。
50%待验证针对客户真正依赖的核心任务进行模型训练，可以将成本削减最高达90%
50%待验证有观点认为需要将人类真正纳入模型的训练过程，让模型理解可以信任人类并与人类协作
50%待验证前沿模型训练需要极高的GPU间互联带宽，要求训练集群物理上集中在同一地点，不能简单分散到多个数据中心
50%