阿拉伯法律大模型压缩评测：上下文敏感性视角

引言

将大语言模型部署到资源受限的法律场景中，模型压缩是绕不开的一环。但压缩对领域性能的影响，可能取决于评测协议本身的设计。一项针对沙特阿拉伯语法律基准 ArabLegalEval 的研究，系统考察了领域自适应、量化和知识蒸馏三个阶段在 FANAR-9B、JAIS-8B 和 Qwen2.5-7B 三个模型上的表现，并对比了两种评测设置：提供法律条文支持的“有上下文”评测，以及不提供外部信息的“无上下文”评测。

上下文一撤，准确率最高掉 27 个百分点

研究首先揭示了一个容易被忽视的现象：去掉上下文后，基础模型的准确率差距最高可达 27 个百分点。这意味着，许多模型在有法律条文“提示”时表现尚可，一旦需要独立作答，真实的法律推理能力便暴露出来。

这一发现直接支撑了论文的核心主张——无上下文评测应当成为有上下文测试的有益补充。在评估自适应与压缩对阿拉伯语法律模型的影响时，两种协议缺一不可：前者检验模型在辅助信息下的应用能力，后者则更接近真实部署中需要模型自主判断的场景。

有上下文评测与无上下文评测的差异，本质上反映的是模型对“开卷”与“闭卷”两种作答模式的适应能力。有上下文设置下，模型可以依赖检索到的法律条文进行匹配和引用，评测的是信息利用与阅读理解能力；无上下文设置则要求模型仅凭参数中存储的法律知识完成推理，更接近模型独立部署时的真实表现。两者差距越大，说明模型对外部提示的依赖越强，其内部知识表示可能并不完整。在法律场景中，这一区分尤为重要，因为法条引用错误或遗漏可能带来实质性风险，仅靠有上下文评测容易高估模型的实际可用性。因此，将两种协议组合使用，能够更全面地刻画模型的能力边界。

量化：内存大降，精度微扰

在压缩手段中，4 比特量化的效果最为稳健。研究显示，量化将模型内存占用降低了 64% 至 71%，而在无上下文多项选择准确率上的变化区间仅为 -3.2 到 +1.6 个百分点。对于资源受限的法律部署环境而言，这一取舍相当划算：内存占用大幅收缩，精度损失却控制在很小的范围内。

量化之所以表现出色，可能在于它主要影响数值表示的精细度，而不改变模型学到的法律知识结构。对于以检索和条文匹配为主的法律问答任务，这种扰动往往在可接受范围内。

4 比特量化通常指将模型权重从 16 位浮点（FP16）或 32 位浮点（FP32）压缩到 4 位整数（INT4）表示。这一过程需要先确定一个缩放因子（scale）和零点（zero-point），将浮点数值映射到 4 位整数区间，推理时再反量化回近似浮点值参与计算。常见方案包括 GPTQ、AWQ 等训练后量化方法，它们通过最小化量化误差来保护重要权重。由于 4 位仅能表示 16 个离散值，量化必然引入数值噪声，但法律问答任务通常依赖语义匹配而非高精度数值计算，因此对这类噪声的容忍度较高。内存收益主要来自权重存储的压缩，实际推理时还需考虑激活值和 KV 缓存的开销，所以端到端内存降低比例通常略低于理论值。

蒸馏：学生越小，波动越大

与量化的稳定表现形成对比，知识蒸馏的结果更为多变。总体趋势是，学生模型的规模越小，准确率下降越明显。

但研究也给出了一个积极的案例：从 FANAR 蒸馏出的 Qwen2.5-7B 学生模型，在无上下文评测中达到 76.6% 的准确率，而其教师模型的成绩为 77.2%。两者差距仅有 0.6 个百分点，说明在模型规模相近时，蒸馏可以较好地保留教师的法律领域能力。

这一结果也暗示，蒸馏的效果高度依赖于师生模型之间的容量匹配。当学生规模显著缩水时，法律领域知识的损失会变得更加难以控制。

知识蒸馏的核心思想是让一个小规模的学生模型模仿大规模教师模型的输出分布，而非仅学习硬标签。在法律领域，学生模型不仅从教师对正确答案的预测中学习，还能从教师对错误选项的概率分配中获取“暗知识”（dark knowledge），例如哪些法条更容易混淆。蒸馏效果受温度参数、损失函数权重和学生容量三重因素制约。当学生参数量远小于教师时，其表示空间不足以容纳教师的法律知识结构，容易出现“容量瓶颈”，导致蒸馏后领域性能显著下降。师生规模相近时，蒸馏更多起到领域知识迁移和输出平滑的作用，因而在 FANAR 到 Qwen2.5-7B 的案例中差距仅 0.6 个百分点。

评测协议为何重要

这项研究的方法论价值在于，它把“怎么评”和“压什么”放在了同一个框架下审视。如果只看有上下文评测，量化或蒸馏带来的性能变化可能被辅助信息所掩盖；而引入无上下文评测后，模型自身的法律推理能力才被清晰地度量出来。

对于阿拉伯语法律 AI 的实践者来说，这意味着在压缩模型之前，需要先明确部署场景中模型能获得多少外部支持。若实际应用依赖检索增强或条文注入，有上下文评测更具参考价值；若模型需要独立完成法律判断，则无上下文评测的结果更值得关注。

实践启示

综合来看，4 比特量化是当前资源受限法律场景下较为稳妥的压缩路径，内存收益显著而精度代价有限；蒸馏则需要谨慎选择学生模型的规模，容量差距过大会导致法律领域能力明显流失。更重要的是，任何压缩方案的评估都不应只依赖单一评测协议——有上下文与无上下文的组合，才能勾勒出模型在真实法律工作中的完整能力画像。