结构化剪枝
以整体功能单元（如注意力头、MLP块、通道）为单位进行移除的模型压缩技术，可直接缩小矩阵维度从而加速推理，比非结构化剪枝更实用但粒度较粗
时间轴 (近 90 天)
行为探针引导的剪枝与模型压缩领域的结构化剪枝思想一脉相承，但作用于系统拓扑而非网络权重。
现有结构化剪枝方法通常在 MLP 块或注意力头级别分配重要性权重并排序，粒度较粗，会丢失 MLP 块内部不同神经元重要性差异的信息。
结构化剪枝相比非结构化剪枝更易在实际硬件上获得加速
Osprey采用结构化剪枝策略将已预训练好的小型语言模型压缩为浅层主干网络，然后通过与目标无关的next-token预训练恢复其语言建模能力
Osprey采用结构化剪枝策略构建浅层主干网络，然后通过与目标无关的next-token预训练恢复语言建模能力
结构化剪枝以整个神经元、注意力头、甚至整层Transformer块为单位进行裁剪，裁剪后的模型无需特殊的稀疏硬件支持，可直接在标准GPU/CPU上高效运行
从大模型剪枝得到的同尺寸模型，往往能用更少的训练token达到相当甚至更好的性能
全部知识事实 (7)
行为探针引导的剪枝与模型压缩领域的结构化剪枝思想一脉相承，但作用于系统拓扑而非网络权重。
50%待验证现有结构化剪枝方法通常在 MLP 块或注意力头级别分配重要性权重并排序，粒度较粗，会丢失 MLP 块内部不同神经元重要性差异的信息。
50%待验证结构化剪枝相比非结构化剪枝更易在实际硬件上获得加速
50%待验证Osprey采用结构化剪枝策略将已预训练好的小型语言模型压缩为浅层主干网络，然后通过与目标无关的next-token预训练恢复其语言建模能力
50%待验证Osprey采用结构化剪枝策略构建浅层主干网络，然后通过与目标无关的next-token预训练恢复语言建模能力
50%待验证结构化剪枝以整个神经元、注意力头、甚至整层Transformer块为单位进行裁剪，裁剪后的模型无需特殊的稀疏硬件支持，可直接在标准GPU/CPU上高效运行
50%待验证从大模型剪枝得到的同尺寸模型，往往能用更少的训练token达到相当甚至更好的性能
50%