[控场AI]
概念Derived Reference

DeRef

一种用于LLM工具调用参数验证的方法,通过独立模型从完整对话上下文中推导出正确的参考文本,将推导与评判解耦,帮助裁判模型更准确地判断工具调用参数值的正确性。

时间轴 (近 90 天)

10月14日

研究者提出了 DeRef(Derived Reference)方案:用一个独立模型读取完整对话历史(但不看候选值),为裁判生成参考文本,再由裁判基于参考文本做判断。

待验证50%
10月14日

DeRef 的设计将'推导'和'评判'两个步骤解耦,独立模型负责推导参考值,裁判只需做比对工作。

待验证50%
10月14日

在三个基准测试上,DeRef 对参与测试的所有裁判模型都提升了参数判断的 AUROC。

待验证50%
10月14日

在来源迁移受控实验中,DeRef 将 AUROC 从随机水平或更低提升到了 98.40 至 99.59 之间。

待验证50%
10月14日

不要让裁判同时承担'推导'和'验证'两个职责,将推导步骤交给专门的模型,让裁判专注于比对,能显著提升整个评估流程的可靠性。

待验证50%

全部知识事实 (5)

来源文章