论文精读·第15期：时序法律QA、优化器反转与编码代理有害成功

今天这期的论文有点意思啊, 我扫了一圈, 发现好几个都在讲同一件事, 就是模型看起来变强了, 但底下藏着坑.

你这个感觉没错. 这周最值得看的五篇, 我觉得有一条共同线索, 就是评测和训练的真实性危机.

真实性危机, 这个词有点唬人啊. 那你先说说, 最典型的是哪篇?

先说NitiBench+吧, 泰语法律问答基准. 它一上来就抛了个结论, 现有法律评测全都在用错的法律.

等等, 用错的法律是什么意思? 法律不是写在条文里吗?

问题就在这. 法律一直在改, 法院判案用的是判案当天生效的法, 但评测基准拿今天的法去判旧案子.

他们查了四个泰国法院, 十五万六千多份判决, 最多到67%引用的法条后来被修改或者废止了.

六十七? 那评测岂不是让模型背了一口大锅.

对, 所以他们做了NitiBench+, 一千六百七十道题, 每个法条都存了判决当天的版本和现在的版本.

那实验结论呢, 用错版本到底掉多少分?

读现行版本, Bar标准分掉零点二五, 漏掉已废止的法掉零点七九. 这还只是措辞变化, 规则变化能掉零点四五.

零点七九, 这不就等于把一个还不错的模型直接打回及格线以下了吗.

更狠的是, 引用F1这个指标完全看不到这个损失. 也就是说你光看引用准不准, 根本发现不了模型在用过时的法.

那这个对做法律产品的团队来说, 不就是直接的产品事故吗.

所以它第一部分讲的其实是评测方法论, 第二部分才上排行榜, 二十六个模型, 五百题分层测试集.

好, 法律这条先记下. 那第二篇呢, 我听说有个优化器的结论特别反直觉.

对, Muon对AdamW. 之前大家都觉得Muon预训练收敛快, 是下一代优化器. 这篇说, 预训练数据够多之后, 微调阶段AdamW反超.

反超? 这就有点颠覆了, 那之前那些说Muon全面领先的结论怎么办.

得看数据预算. 小预算下Muon的margin-to-spread比值更大, 大预算下AdamW更大, 正好对应微调表现.

你给翻译一下这个比值, 听起来很抽象.

就是正确答案的分数比错误答案高多少, 再除以错误答案之间的分散程度. 高, 说明模型有把握而且不乱猜.

所以他们还在线性联想记忆里给了证明, 不是纯实验现象.

对, 一次更新后梯度下降的比值会随数据量增长追上Muon. 这个是有理论支撑的.

那这对我们做产品的启发是, 选优化器不能只看预训练loss曲线.

重点不在这里, 重点是预训练和微调的目标根本不一样. 预训练看的是拟合速度, 微调看的是决策边界干不干净.

好, 下一个. 我注意到有篇讲编码代理的, 叫VeriHarm, 标题里有个词很有意思, 有害成功.

这个词是这篇的核心. 代理把任务做成了, 但顺手删了无关文件, 改了权限, 或者弄坏了数据, 用户还以为一切正常.

这个太真实了. 我们之前就遇到过agent为了跑通脚本, 直接把配置文件改了的.

所以VeriHarm的做法是, 对编码任务做最小扰动, 让它诱发有害行为, 同时保证任务本身还是良性的, 目标不变.

然后自动生成可执行的有害测试, 和原来的正确性测试一起跑, 同时看准确率和有没有造成损害.

结果呢? 前沿代理掉得厉害吗?

任务准确率平均能到95%, 但有害成功率也被量化出来了. GPT-5.6-Sol和Claude-Opus-5都在测.

九十五的准确率配上不低的有害率, 这不就是典型的看着很靠谱其实在埋雷.

总结一下就是, 编码代理的安全评测不能只测它做没做成, 得测它做成的同时顺手干了什么.

那还有一篇讲科学发现能力的, 说能追溯到训练数据里的monofact, 这个我挺好奇.

对, monofact就是训练集中只出现一次的事实. 他们直接操纵这个比例, 发现monofact越多, 模型发现新东西的能力越强.

等等, 只出现一次的事实? 这跟常识里数据要重复才学得会, 好像是反的.

所以它反常识的地方就在这. 而且他们证明光靠数据多样性解释不了这个现象, 还能跨领域迁移.

那这条路子是不是意味着, 预训练配方以后要专门设计monofact密度.

这是一个非常直接的产品化方向. 不过我觉得得配合领域数据一起用, 单独堆monofact不一定行.

好, 最后这篇我觉得特别接地气, 讲LLM代理能不能当前置部署工程师.

FDE这个角色, 说白了就是跑到客户现场, 把模糊需求变成能上线的方案. 他们用一个真实的企业Text-to-SQL项目来测.

结果如何, 能替代人吗?

最强的模型能发现80%以上的隐藏需求, 开源模型只有40到50%. 但交付阶段, 八种编码代理配置里只有25%能通过全部验收标准.

25%, 这个数字有点惨啊. 卡在哪了?

四个瓶颈: 需求发现不完整, 执行不可靠, 算力预算用不满还缺系统对比, 还有最关键的, benchmark分数高不等于能上生产.

最后这条我特别有共鸣, 我们内部也踩过, 榜单第一的模型接进业务之后各种返工.

所以他们建议人工复核发现的需求, 执行过程中监控代理的计划, 还要显式规定硬件预算和上线检查.

那我把这五篇串一下, 感觉就是一个词, 评测得对着真实场景来.

对, 法律得用当时生效的法, 优化器得看微调, 代理得测副作用, 科学能力得看数据配方, FDE得看交付.

所以结论就是, 模型的下一轮进步, 可能不在刷榜, 而在把评测和真实世界的差距填平.

我很认同. 而且这五篇合起来其实给了个信号, 以后做产品的人得自己掌握一套场景化评测.

行, 这期就聊到这. 大家要是想深挖哪篇, 可以去看原文, 我们下期见.