GoiBERT：两阶段知识蒸馏打造紧凑越南语模型

越南语预训练编码器近年进步显著，但性能最强的模型往往参数庞大、采用多语言词表，或依赖外部分词工具，部署成本居高不下。一篇新论文提出的 GoiBERT 试图解决这一矛盾：它包含 26M 和 49M 两个紧凑版本，直接处理原始文本，无需分词预处理，却在多项基准上逼近甚至超越更大的基线模型。

两阶段蒸馏：从通用表征到任务级指导

GoiBERT 的核心设计是“双教师”蒸馏。第一阶段，一个共享词表的越南语编码器作为教师，传授通用语言表征；第二阶段，一个规模大得多的教师模型通过软标签提供任务级指导——关键在于，这些软标签的生成过程不需要对教师自身的训练数据进行人工标注。

这种两阶段安排让小型学生模型既能吸收语言层面的知识，又能对齐下游任务的行为。相比单阶段蒸馏，它把“学语言”和“学任务”解耦，避免了小模型在有限容量下被两类信号同时挤压。

知识蒸馏（Knowledge Distillation）是一种模型压缩技术：让一个小型“学生”模型模仿一个大型“教师”模型的输出分布，而非仅学习真实标签。教师模型输出的概率分布被称为“软标签”（soft labels），其中蕴含了类别之间的相对相似性信息，比独热标签提供更丰富的监督信号。在NLP中，蒸馏可分为表征级（对齐隐藏层状态）和任务级（对齐输出logits）。GoiBERT的两阶段设计分别对应这两类：第一阶段对齐语言表征，第二阶段对齐任务行为，从而在容量受限时更高效地迁移知识。

性能表现：一半参数，两倍吞吐

论文在八个基准上评估，覆盖文本分类、方面级情感分析、自然语言推理和命名实体识别。GoiBERT-large 在非教师模型中取得最高平均分，参数量不到最强紧凑基线的一半，吞吐量却是其两倍。GoiBERT-base 更激进：以四分之一的规模保留了该基线 99% 的性能。

这组数字的意义在于，它说明越南语 NLP 的部署门槛可以显著降低。对于需要本地化推理、边缘部署或成本敏感的场景，参数减半、速度翻倍的收益相当直接。

吞吐量（Throughput）指模型在单位时间内能处理的样本数或token数。在推理场景下，它受参数量、序列长度、批大小和硬件并行度共同影响。紧凑模型因参数量少、内存占用低，通常能在相同硬件上支持更大的批处理并减少内存带宽瓶颈，从而显著提升吞吐。此外，不依赖外部分词工具意味着省去了分词预处理的计算与管线延迟，这对端到端推理吞吐也有直接贡献。因此论文报告的“两倍吞吐”是模型规模与免分词设计共同作用的结果。

压缩并非无损：情感与分类几乎无代价，推理与实体识别仍有损失

作者的分析没有回避短板。压缩在情感分析和文本分类任务上几乎无损，但在自然语言推理和命名实体识别上仍付出明显代价。这一分化指向明确的后续方向：推理类任务涉及更复杂的逻辑组合，实体识别依赖细粒度边界判断，两者对模型容量的要求更高，单纯蒸馏可能不够。

对工程实践而言，这意味着 GoiBERT 更适合作为分类与情感类任务的首选紧凑方案；若目标任务是 NER 或 NLI，选型时需重新评估精度与成本的权衡。

自然语言推理（NLI）要求模型判断两个句子之间的逻辑关系（蕴含、矛盾或中立），涉及深层的语义组合与推理能力，对模型容量的要求高于浅层分类。命名实体识别（NER）则是序列标注任务，需要模型对每个token做出细粒度边界判断，依赖丰富的上下文表征。这两类任务在知识蒸馏中往往更难被小模型完整继承，因为软标签虽能传递类别间的相对信息，却难以充分编码长距离依赖和细粒度位置判别所需的内部表征，这与论文观察到的精度损失一致。

开源与可复现性

代码与模型已在 GitHub 开源（Nhantran65/GoiBERT）。对于越南语社区和小型团队，一个不依赖外部分词、直接吃原始文本的紧凑编码器，能省去预处理管线的维护负担，也让模型更容易嵌入现有服务。

从更广的视角看，GoiBERT 代表了一条务实的路线：不追求参数规模竞赛，而是用蒸馏把大模型的能力压缩到可部署的尺寸，并诚实地报告哪些任务压缩代价高。这种“有损压缩地图”对实际选型比单一平均分更有参考价值。