Manacá-1B-Instruct-2：巴西葡语LLM的可复现安全对齐与DPO负结果

开源语言模型对巴西葡萄牙语（PT-BR）的支持长期不足，而少数做了安全对齐的模型又很少公开哪些尝试失败了，也鲜有以统计显著性验证过的横向对比。Manacá-1B-Instruct-2 正是针对这一空白的工作：它是 Manacá-1B（1.72B 参数、从零开始为 PT-BR 训练）的第二代后训练对齐版本，SFT 语料规模为 291,223 条。团队把三次失败的对齐尝试、一次受控的数据配比扫描，以及一个评测方法学上的静默失败模式一并公开，这种“把负结果也写进论文”的做法，在当下的对齐研究里并不多见。

DPO 全线负结果：奖励涨了，生成没变

论文最具警示价值的部分是三次 DPO（Direct Preference Optimization）尝试，全部以负面结果收场。其中一次出现了典型的“指标幻觉”：训练过程中奖励边际（reward margin）冲到 1.0，看起来偏好已经学到了，但自由生成时的输出完全没有变化。

这说明奖励指标和实际行为之间可能彻底脱钩——训练信号在内部被满足，却没能迁移到推理时的文本分布上。对依赖 reward curve 判断训练是否成功的团队来说，这是一个需要认真对待的信号：奖励边际本身不构成对齐有效的证据，必须用自由生成做验证。

既然 DPO 路线走不通，安全能力从哪来？答案是专用的 safety-SFT，风格接近 LLM-jp 的 AnswerCarefully 数据集构建方式，前后迭代了三轮，直到把“安全—有用”的前沿（safety-helpfulness frontier）收敛到位。这也从反面说明，在这类小规模原生语种模型上，精心构造的 SFT 数据可能比偏好优化更直接有效。

DPO（Direct Preference Optimization）的核心思想是绕开显式奖励模型，直接用偏好对（chosen/rejected）构造一个闭式目标函数来优化策略模型。其损失函数通过对数比值的隐式奖励差推动 chosen 的概率相对 rejected 上升，因此训练日志里的 reward margin 本质上是模型对偏好对的拟合程度，而非真实人类偏好的度量。当 chosen 与 rejected 在语义上高度相似、或偏好数据分布与推理时的自由生成分布存在系统性差异时，模型可以仅靠调整 token 级概率满足目标函数，却不在开放式生成中表现出任何行为变化——这正是本文观察到的脱钩现象的典型机制。

受控配比扫描：过度拒答存在拐点

安全 SFT 里通常要混入一定比例的通用数据，避免模型变成“什么都不敢答”的拒答机器。团队对通用数据占比做了受控扫描，从 10% 扫到 60%，结果是一条非单调的过度拒答曲线，拐点（knee point）落在 40%—50% 区间。

这个发现的价值在于把“混多少通用数据”从经验直觉变成了可测量的曲线：占比过低时通用能力被安全数据挤压，拒答率上升；占比过高则安全能力被稀释。拐点位置给出了一个可以复用的配比区间，对同语种或其他低资源语种的安全对齐都有参考意义。

论文还补充了 n-gram 去污染检查和一张以 Chinchilla 为锚点的算力预算表，把通用能力上的差距归因于预训练规模，而不是对齐方法本身。这个归因很重要——它避免了把预训练欠拟合的锅甩给对齐流程。

过度拒答（over-refusal）是指模型对本应正常回答的无害请求也给出拒绝的行为，通常源于安全 SFT 数据中拒绝样本的分布偏差——例如拒绝理由过于笼统、覆盖了本不属于安全范畴的意图。评估过度拒答需要构造一批明确无害但表面可能触发安全关键词的提示（如“如何用刀切菜”），统计模型在这些样本上的拒答率。这与安全率构成一对张力指标：安全率衡量模型挡住有害请求的能力，过度拒答率衡量模型误伤无害请求的程度，两者共同刻画 safety-helpfulness frontier。n-gram 去污染检查则是为了防止评测集内容以 n-gram 重叠形式泄漏进训练数据，从而虚高评测分数。

统计严谨的横向对比：置信区间与配对检验

最终模型与四个外部 PT-BR 模型在同一批评测条目上对比，方法上用了 Wilson 置信区间，以及带 Holm-Bonferroni 校正的配对 McNemar 检验。结果相当干净：Manacá-1B-Instruct-2 的安全率区间下界为 94.1%，高于全部四个基线模型的上界。

对安全评测来说，只报一个点估计很容易被质疑是噪声。给出区间下界并与其他模型的上界比较，等于用统计口径证明差距不是偶然波动。这套做法值得其他做小语种对齐的团队照搬：样本量有限时，配对检验加多重比较校正比单点准确率更有说服力。

Wilson 置信区间是一种针对二项比例（如安全率）的区间估计方法，相比正态近似法在样本量较小或比例接近 0/1 时更稳健，不会产生越界或过窄的区间。配对 McNemar 检验用于比较两个模型在同一批评测条目上的表现差异：它只关注两者判断不一致的条目（一个对一个错），检验这种不一致是否显著偏向某一方，因此比独立样本检验更敏感。当同时进行多组两两比较时，假阳性率会累积，Holm-Bonferroni 校正通过按 p 值排序并逐步收紧显著性阈值来控制族错误率（family-wise error rate）。三者组合是低资源场景下小样本评测的标准做法：区间下界对比上界提供保守的差距证据，配对检验利用条目级对应关系提升功效，多重校正防止偶然显著。

LLM 裁判的静默失败：有效样本被悄悄削减

论文最后抛出了一个方法学层面的坑。在 MT-Bench-PT 的六道安全题中，有两道题上 LLM 裁判无论被评回答是什么，都一律拒绝打分。这不会报错，也不会在日志里留下显眼痕迹，但会静默地削减该类别下的有效样本量 N——而项目此前所有报告都没意识到这一点。

这类失败模式的隐蔽性在于：流程照常跑完，分数照常输出，结论看起来完整，实际上分母已经缩水。凡是用 LLM-as-a-judge 做安全评测的工作，都应当显式检查裁判的拒绝率，而不是只看最终分数。

论文的全部代码、原始数据、日志，以及生成每一个报告数字的脚本均已公开，可复现性上做得相当彻底。

LLM-as-a-judge 已成为开放式生成评测的主流范式，但其可靠性依赖裁判模型对每个样本都给出有效判断。当裁判模型因安全策略、格式解析失败或提示设计缺陷而对某些样本一律拒评时，分数计算仍会照常进行，只是分母 N 被静默缩小，导致该类别下的置信区间被错误地计算和比较。检测这类失败需要显式记录裁判的拒答率、解析失败率，并在报告中披露每个类别下的有效样本量；更严格的做法是预先为每个评测类别设定最小有效样本阈值，低于阈值时拒绝输出该类别分数。对使用 API 调用的裁判模型，还应注意其后端版本更新可能在不通知的情况下改变拒答行为。

这项工作为什么值得关注

Manacá-1B-Instruct-2 的贡献不在模型规模，而在透明度：三次 DPO 负结果、一条过度拒答曲线、一个裁判静默失败模式，这些都是通常会被删掉的“失败记录”，却恰恰是其他团队最需要的路标。对低资源语种的安全对齐而言，知道哪条路不通，和知道哪条路通同样重要。