Manacá-1B-Instruct-2
面向巴西葡萄牙语的开源指令微调大语言模型,为 Manacá-1B 的第二代后训练对齐版本,通过安全 SFT 实现安全对齐并公开 DPO 负结果。
时间轴 (近 90 天)
Manacá-1B-Instruct-2 是 Manacá-1B 的第二代后训练对齐版本,其 SFT 语料规模为 291,223 条。
论文公开了三次失败的 DPO 对齐尝试、一次受控的数据配比扫描,以及一个评测方法学上的静默失败模式。
Manacá-1B-Instruct-2 的安全能力来自专用的 safety-SFT,风格接近 LLM-jp 的 AnswerCarefully 数据集构建方式,前后迭代了三轮。
在安全 SFT 通用数据占比的受控扫描中,过度拒答曲线呈非单调,拐点落在通用数据占比 40%—50% 区间。
论文将 Manacá-1B-Instruct-2 在通用能力上的差距归因于预训练规模(以 Chinchilla 为锚点的算力预算对比),而非对齐方法本身。
在与四个外部 PT-BR 模型的横向对比中,Manacá-1B-Instruct-2 的安全率 Wilson 置信区间下界为 94.1%,高于全部四个基线模型的上界。
论文的全部代码、原始数据、日志以及生成每一个报告数字的脚本均已公开。
全部知识事实 (7)
Manacá-1B-Instruct-2 是 Manacá-1B 的第二代后训练对齐版本,其 SFT 语料规模为 291,223 条。
50%待验证论文公开了三次失败的 DPO 对齐尝试、一次受控的数据配比扫描,以及一个评测方法学上的静默失败模式。
50%待验证Manacá-1B-Instruct-2 的安全能力来自专用的 safety-SFT,风格接近 LLM-jp 的 AnswerCarefully 数据集构建方式,前后迭代了三轮。
50%待验证在安全 SFT 通用数据占比的受控扫描中,过度拒答曲线呈非单调,拐点落在通用数据占比 40%—50% 区间。
50%待验证论文将 Manacá-1B-Instruct-2 在通用能力上的差距归因于预训练规模(以 Chinchilla 为锚点的算力预算对比),而非对齐方法本身。
50%待验证在与四个外部 PT-BR 模型的横向对比中,Manacá-1B-Instruct-2 的安全率 Wilson 置信区间下界为 94.1%,高于全部四个基线模型的上界。
50%待验证论文的全部代码、原始数据、日志以及生成每一个报告数字的脚本均已公开。
50%