文本分类模型演进：从词袋到Transformer的可视化解析

文本分类是自然语言处理中最基础也最常见的任务之一，从垃圾邮件识别到情感分析，从新闻分类到意图识别，它无处不在。理解不同模型架构在这一任务上的表现差异，对于工程实践和模型选型都有重要意义。本文以可视化的视角，梳理从传统的词袋模型（Bag-of-Words）到现代Transformer的技术演进脉络，并探讨准确率与效率之间的权衡。

从词袋模型说起

词袋模型是文本表示最经典的起点。它将一段文本简单地拆解为词的集合，忽略语序，只统计每个词出现的频率或权重（如TF-IDF）。这种方法直观、计算成本极低，在很多简单分类任务上依然是强有力的基线。

然而，词袋模型的局限也十分明显：它丢失了词序信息，无法捕捉上下文语义。例如"这部电影不好看"和"这部电影好看不"在词袋表示下几乎完全相同，但含义截然不同。正是这一根本缺陷，推动了后续序列建模方法的出现。

TF-IDF（词频-逆文档频率）是词袋模型中最常用的词权重计算方式，值得单独说明。TF（词频）衡量某词在当前文档中出现的频率，IDF（逆文档频率）则衡量该词在整个语料库中的稀有程度——出现在越多文档中的词，IDF值越低。两者相乘的结果是：对文档有较强区分度的词获得高权重，而"的""是"等高频停用词权重被压低。这种设计让线性分类器（如朴素贝叶斯、逻辑回归、SVM）在结合TF-IDF特征后能快速收敛，并在新闻分类、垃圾邮件检测等任务上建立极具竞争力的基线。即便在深度学习盛行的今天，TF-IDF + 逻辑回归的组合在数据量有限或推理延迟极为苛刻的场景下仍是工程师的首选方案。

RNN：引入序列建模能力

循环神经网络（RNN）通过在时间步之间传递隐藏状态，首次让模型具备了对序列顺序的感知能力。它逐词处理输入，将前文信息累积到隐藏状态中，从而在理论上能够捕捉长距离依赖。

RNN的优势与瓶颈

RNN及其变体（LSTM、GRU）在文本分类中显著改善了对语序和上下文的理解。但它们也带来了新的问题：由于必须按顺序逐步计算，RNN难以并行化，训练和推理效率受限。同时，尽管LSTM通过门控机制缓解了梯度消失问题，超长序列的建模仍然存在挑战。

LSTM（长短期记忆网络）和GRU（门控循环单元）是RNN的两种主流改进变体，二者均通过引入可学习的"门"来控制信息的写入与遗忘。LSTM设有输入门、遗忘门和输出门三组门控，并维护一条独立的"细胞状态"作为长期记忆通道，有效缓解了原始RNN中梯度随序列长度指数衰减的问题。GRU则将门控结构简化为重置门和更新门，参数量更少、训练更快，在许多任务上与LSTM效果相当。在文本分类中，双向LSTM（BiLSTM）是更常见的选择——它同时从左到右、从右到左扫描文本，将两个方向的隐藏状态拼接后送入分类头，从而让每个位置的表示都能感知到完整的上下文。

CNN：局部特征的高效提取

卷积神经网络（CNN）原本用于图像处理，但在文本分类中同样表现出色。通过在词向量序列上滑动卷积核，CNN能够高效捕捉局部的n-gram特征，例如某些短语或固定搭配。

相比RNN，CNN的一大优势是可以高度并行化，计算效率更高。它擅长识别与分类强相关的局部模式，因此在许多文本分类基准上，轻量级的CNN能够以远低于RNN的计算成本达到接近的准确率。不过，CNN对全局上下文和长距离依赖的建模能力相对有限，通常需要通过堆叠更深的层或引入更大的卷积核来弥补。

Transformer：注意力机制主导的范式

Transformer彻底改变了序列建模的格局。它摒弃了循环结构，完全依赖自注意力机制（self-attention）来建模序列中任意两个位置之间的关系。这意味着模型可以直接关注到相隔很远的词，同时保持良好的并行性。

为何Transformer成为主流

在文本分类任务中，基于Transformer的预训练模型（如BERT系列）通常能取得最高的准确率。它们通过大规模语料预训练获得了丰富的语言表示，再针对具体分类任务微调即可。自注意力机制既解决了RNN的并行化难题，又克服了CNN在全局依赖建模上的短板。

代价是计算成本。Transformer的自注意力复杂度随序列长度平方增长，模型参数量也远大于传统方法。在资源受限或对延迟敏感的场景下，是否值得为边际的准确率提升付出如此高的计算开销，需要审慎权衡。

校准：被忽视的可靠性维度

除了准确率，模型输出的置信度是否可靠同样重要，这就是校准（calibration）问题。一个校准良好的模型，当它以90%的置信度做出预测时，实际正确率也应接近90%。

现代深度模型，尤其是过参数化的神经网络，往往存在过度自信的倾向——它们给出的置信度普遍高于实际准确率。这在需要根据置信度做决策的应用中（如自动化审核、风险控制）可能带来隐患。因此在评估文本分类模型时，除了看准确率，还应关注校准指标，并在必要时采用温度缩放（temperature scaling）等方法进行后处理校正。

温度缩放（Temperature Scaling）是目前最简单且有效的模型后校准方法。具体做法是在分类头的softmax之前，将logit值除以一个可学习的标量参数T（温度）：T > 1时会"软化"概率分布，削弱过度自信；T < 1时则会使分布更尖锐。该参数通常在验证集上用负对数似然损失单独优化，无需重新训练主模型，开销极低。评估校准质量的常用指标是ECE（期望校准误差），它将预测置信度分成若干区间（bin），计算每个区间内置信度均值与实际准确率之差的加权平均。可靠性图（Reliability Diagram）则将这一关系可视化为折线图，完美校准的模型应呈现出一条对角线。在医疗、金融等高风险决策场景中，ECE和可靠性图与准确率同等重要。

准确率与效率的权衡

综合来看，文本分类的模型选型本质上是一场准确率与效率的博弈：

词袋 + 线性模型：极致轻量，适合简单任务和强基线
CNN：并行高效，擅长局部特征，性价比突出
RNN/LSTM：擅长序列建模，但效率受限
Transformer：准确率最高，但计算成本最大

没有放之四海皆准的最优解。对于短文本、大流量、低延迟的生产环境，轻量模型可能是更明智的选择；而对于追求最高精度、资源充足的场景，预训练Transformer则更具优势。理解每种架构的原理与代价，才能在实践中做出恰当的取舍。