预训练模型
在大规模通用数据上预先训练、可迁移到下游任务的机器学习模型，是现代 NLP 和 AI 应用的基础范式
时间轴 (近 90 天)
这项研究为迁移学习提供了严格的理论基础，证明其缩放优势，意味着预训练模型的重用有理论上的最优性保证。
实验结果表明，预训练确实产生了超越随机核的结构，但远未达到线性世界模型的程度，模型学到的表征几何结构仍然高度弯曲。
预训练模型中的事实可分为活跃事实与惰性事实两类，活跃事实能在微调后支持泛化超越记忆范围，惰性事实虽能被回忆但无法在同一任务中产生泛化。
在图像分类实验中，预训练模型返回了多个带分数的候选标签：Website 为 87.5%，Menu 为 8.4%，Screen 为 2.2%，Television 为 0.7%，Brass 为 0.4%。
大型预训练模型的普及使许多任务的基线性能大幅提升，导致单纯的性能增量越来越难以令人印象深刻
基于预训练模型进行LoRA微调是个人开发者最现实的技术路径
现代AI开发的主流工作流是通过Hugging Face拉取预训练权重，而非从零训练模型
使用开源预训练模型的权重与使用他人的私有训练数据是两件完全不同的事情
全部知识事实 (7)
这项研究为迁移学习提供了严格的理论基础，证明其缩放优势，意味着预训练模型的重用有理论上的最优性保证。
50%待验证实验结果表明，预训练确实产生了超越随机核的结构，但远未达到线性世界模型的程度，模型学到的表征几何结构仍然高度弯曲。
50%待验证预训练模型中的事实可分为活跃事实与惰性事实两类，活跃事实能在微调后支持泛化超越记忆范围，惰性事实虽能被回忆但无法在同一任务中产生泛化。
50%待验证大型预训练模型的普及使许多任务的基线性能大幅提升，导致单纯的性能增量越来越难以令人印象深刻
50%待验证基于预训练模型进行LoRA微调是个人开发者最现实的技术路径
50%待验证现代AI开发的主流工作流是通过Hugging Face拉取预训练权重，而非从零训练模型
50%待验证使用开源预训练模型的权重与使用他人的私有训练数据是两件完全不同的事情
50%