Priming

Priming是一种权重迁移策略，它复用预训练Transformer的权重，将已训练好的注意力头、前馈层、归一化参数重新映射到计算效率更高的架构骨架上，改变的是参数的调用方式而非参数值。

Priming声称训练成本不到原始训练的1%，吞吐量最高可提升两倍。

Priming与知识蒸馏的本质区别在于：蒸馏改变参数值本身（学生模型从随机初始化开始学习），而Priming保留预训练权重不变，只重新安排权重在计算图中的位置。

剪枝和量化在保持原架构拓扑的前提下做减法，不改变层的功能语义和连接模式；而Priming允许目标架构在层数、宽度、注意力模式上与原模型不同。

模型重参数化是指在不改变网络输出函数的前提下，通过数学等价变换调整计算图结构的技术，严格保证变换前后输出完全一致，不需要任何微调。Priming借用了重参数化的思想，但不要求数学等价，因此需要少量微调。

Priming面临的第一个质疑是：跨架构的权重映射不是总能找到合理对应关系，如果目标架构引入了全新计算模块（如状态空间模型层），预训练权重就没有现成组件可以填进去。

Priming的1%训练成本优势的前提是已经有一个训练好的大模型可用，冷启动场景下这个优势不存在。

Priming后的模型在分布外数据上的表现如何是一个关键的开放问题，微调能恢复的通常是同分布性能，泛化能力是否受影响现有信息没有给出答案。

如果Priming方法被进一步验证推广，可为团队提供'先改架构试试，成本可控就上，不行再退回原方案'的中间选项，实现快速试错。

架构改造带来的吞吐提升可能被权重映射过程中的精度损失抵消一部分，'不到1%成本'和'两倍吞吐'能否同时兑现需要具体场景具体验证。