#SSM状态空间模型

分散损失：破解小语言模型嵌入坍缩的关键技术

嵌入坍缩是小语言模型训练中的隐蔽瓶颈，导致词向量表示趋同、模型性能受损。本文深入解析分散损失（Dispersion Loss）的核心原理——通过在训练阶段引入表示分散约束，以零推理成本提升小模型的表达质量，为边缘AI与轻量化部署提供新思路。