概念Derived Reference
DeRef
一种用于LLM工具调用参数验证的方法,通过独立模型从完整对话上下文中推导出正确的参考文本,将推导与评判解耦,帮助裁判模型更准确地判断工具调用参数值的正确性。
时间轴 (近 90 天)
10月14日
研究者提出了 DeRef(Derived Reference)方案:用一个独立模型读取完整对话历史(但不看候选值),为裁判生成参考文本,再由裁判基于参考文本做判断。
待验证50%
10月14日
DeRef 的设计将'推导'和'评判'两个步骤解耦,独立模型负责推导参考值,裁判只需做比对工作。
待验证50%
10月14日
在三个基准测试上,DeRef 对参与测试的所有裁判模型都提升了参数判断的 AUROC。
待验证50%
10月14日
在来源迁移受控实验中,DeRef 将 AUROC 从随机水平或更低提升到了 98.40 至 99.59 之间。
待验证50%
10月14日
不要让裁判同时承担'推导'和'验证'两个职责,将推导步骤交给专门的模型,让裁判专注于比对,能显著提升整个评估流程的可靠性。
待验证50%
全部知识事实 (5)
待验证
研究者提出了 DeRef(Derived Reference)方案:用一个独立模型读取完整对话历史(但不看候选值),为裁判生成参考文本,再由裁判基于参考文本做判断。
50%待验证DeRef 的设计将'推导'和'评判'两个步骤解耦,独立模型负责推导参考值,裁判只需做比对工作。
50%待验证在三个基准测试上,DeRef 对参与测试的所有裁判模型都提升了参数判断的 AUROC。
50%待验证在来源迁移受控实验中,DeRef 将 AUROC 从随机水平或更低提升到了 98.40 至 99.59 之间。
50%待验证不要让裁判同时承担'推导'和'验证'两个职责,将推导步骤交给专门的模型,让裁判专注于比对,能显著提升整个评估流程的可靠性。
50%