[控场AI]
基准Smatch plus plus

Smatch++

Smatch指标的增强版本,用于评估图式语义解析(如AMR)结果质量,通过计算预测图与参考图之间节点与边的最优对齐F1值衡量解析准确性

时间轴 (近 90 天)

10月12日

在严格长度限制下,APD相比局部屏蔽在Smatch++指标上使DRS任务提升5.1和2.4分

待验证50%
10月12日

在数据充足场景下,简单的事后过滤策略与APD的Smatch++差距仅在0.2分以内

待验证50%
10月12日

在训练中惩罚被自动机拒绝的token,在完成10%训练后开发集Smatch++可提升3.6至11.0分,但该优势随训练推进逐渐消失

待验证50%
10月12日

Smatch++是评估图式语义解析结果的主要指标,通过计算预测图与参考图之间节点与边的最优对齐F1值衡量解析质量

待验证50%

全部知识事实 (4)

来源文章