微调LLM生成法律判决要旨：为何失败及实战解决方案

一个真实的法律AI困境

近日，一位开发者在Reddit上抛出了一个颇具代表性的技术难题：能否通过微调（Fine-tuning）一个开源大模型，让它自动生成法院判决中复杂的"法律原则"或"判决要旨"（headnote/ratio decidendi）？

这位开发者手握一个庞大的本地法院判决数据库——约50万份判决书，其中约20%附带了作为核心的"ratio"（判决理由摘要）。他尝试微调了Gemma系列模型（帖中提及的"gemma4 26B A4B"应为对Gemma架构MoE模型的描述，约26B总参数、激活参数较少），无论是基座（base）还是指令微调（IT）版本，在自建评测集上始终无法超越"直接提示（prompt）基座模型"的效果。

这个案例几乎浓缩了当下垂直领域LLM落地的所有典型痛点，值得深入拆解。

reddit source

微调为什么没能击败直接提示

任务本身的抽象层级过高

提取判决书中的原文段落，与"生成一段凝练的法律原则"，是两个截然不同难度的任务。前者本质是**抽取式（extractive）任务，模型只需定位并复制；后者则是高度抽象的推理与归纳（abstractive reasoning）**任务，要求模型理解案件事实、法条适用逻辑，再用精准的法律语言重新表述。

这位开发者已经观察到：抽取任务能"match the gold"（匹配标准答案），但充满了padding（填充）和泛化表述，实际不可用。这恰恰说明模型学会了"形似"却没有"神似"——它模仿了输出的表面结构，却没有掌握底层的法律推理能力。而这种深层推理能力，恰恰是小规模微调最难注入的。

MoE架构中激活参数量的天花板

如果该模型确实是MoE架构（A4B暗示约4B激活参数），那么在复杂推理任务上，实际参与计算的激活参数量才是关键瓶颈。生成判决要旨需要跨越大段文本进行逻辑综合，这对模型的有效"思考容量"要求极高。仅靠LoRA等轻量微调方法，很难在如此小的激活规模上重塑这种能力。

微调法律大模型容易踩的坑

数据质量远比数据数量重要

开发者提到自己筛选了"最高质量"的训练数据。但在法律要旨生成任务上，训练数据的一致性往往比数量更关键。50万份判决中，不同法官、不同年代撰写的ratio风格、粒度、抽象程度可能差异巨大。如果训练样本内部风格不统一，模型会学到相互矛盾的信号，最终输出"平均化"的模糊结果——这正好解释了那些"泛化和填充"。

建议做法：

对ratio的长度、结构、抽象层级做聚类分析，优先选取风格一致的子集
用少量但极高质量（人工校验）的样本，而非盲目堆量
明确区分"事实摘要"与"法律原则"，避免任务信号混杂

评测标准本身是否可靠

开发者自建了LLM评测。这里存在一个隐蔽陷阱：如果评测标准本身有偏差，微调就等于在错误的方向上优化。 法律要旨的"好坏"很难用BLEU、ROUGE这类文本相似度指标衡量，因为一个法律上完全正确的表述可能与gold标准用词完全不同。

如果评测过度依赖表面文本匹配，那么直接提示的通用大模型反而可能因为语言更流畅而"看起来"更好。建议引入法律专家的双盲评估，或设计基于"法律要素覆盖度"的评测维度。

Vibe coding带来的隐性技术错误

开发者坦言整个项目是用Claude "vibe code"（凭感觉让AI写代码）完成的。这在微调流程中风险不小——数据预处理的prompt模板拼接、loss掩码（label masking）、指令格式与模型chat template不匹配等问题，都是极易出现却难以察觉的"沉默错误"。

尤其是训练时的prompt格式必须与推理时严格一致，且IT版本的对话模板容易被处理错误。任何一处不匹配，都可能让微调效果大打折扣却不报错。

法律要旨自动生成到底可不可行

更务实的技术路线

结论是：困难但并非不可能，只是路径需要调整。 对于一个中等规模模型直接生成高质量法律要旨，纯监督微调的边际收益有限。更务实的方案包括：

拆解任务链（pipeline）：先抽取关键法条与事实，再分步归纳，而非端到端一步生成
RAG + 微调结合：检索相似判例作为上下文，降低模型的"凭空生成"压力
选择更大的基座或推理型模型：复杂法律推理更依赖模型规模和推理能力
DPO偏好优化：在SFT基础上，用"好要旨 vs 差要旨"的偏好对进一步对齐输出质量

对垂直领域AI落地的启示

这个案例提醒我们：微调不是万能钥匙。 当直接提示的通用大模型都难以搞定的高抽象任务，指望通过轻量微调一个中小模型来"点石成金"，往往会落空。真正的杠杆点在于：任务分解、数据一致性、评测科学性，以及对模型能力边界的清醒认知。

对于任何垂直领域的AI落地者而言，先用最强的通用模型（配合精心设计的prompt和few-shot）验证任务上限，再决定是否投入微调，通常是更高效的路线。