概念Exact Match / EM
精确匹配
问答与信息抽取任务中常用的严格评估指标，模型输出与标准答案规范化后完全一致才计为正确
时间轴 (近 90 天)
10月30日
移除记忆画像后，精确匹配下降24.7个点，重标定后的BERTScore从0.57掉到0.35。
待验证50%
10月30日
精确匹配是一个严格下界，会低估实际可用的提示质量；分级指标和LlamaPIE自带的评判器与人工评分的相关性比精确匹配更高。
待验证50%
10月30日
加入检索模块或换用更大的生成器，在精确匹配上都没有带来增益。
待验证50%
10月23日
该系统的知识库检索采用向量检索加精确匹配的混合方案，先计算语义相似度，再按紧急程度和知识新鲜度进行二次排序。
待验证50%
10月19日
在31条测试转述中，AILegal的精确匹配阶段解决了12条；软匹配阶段又为14条补充了提示，其中8条正确，精确率约57%。
待验证50%
10月17日
轨迹匹配有两种方式：精确匹配适用于流程固定的场景，子序列匹配更宽松，只要求关键步骤按序出现。
待验证50%
10月11日
精确匹配速度快但容易漏掉同一人使用不同联系方式的情况，模糊匹配覆盖更广但计算成本较高
待验证50%
全部知识事实 (7)
待验证
移除记忆画像后，精确匹配下降24.7个点，重标定后的BERTScore从0.57掉到0.35。
50%待验证精确匹配是一个严格下界，会低估实际可用的提示质量；分级指标和LlamaPIE自带的评判器与人工评分的相关性比精确匹配更高。
50%待验证加入检索模块或换用更大的生成器，在精确匹配上都没有带来增益。
50%待验证该系统的知识库检索采用向量检索加精确匹配的混合方案，先计算语义相似度，再按紧急程度和知识新鲜度进行二次排序。
50%待验证在31条测试转述中，AILegal的精确匹配阶段解决了12条；软匹配阶段又为14条补充了提示，其中8条正确，精确率约57%。
50%待验证轨迹匹配有两种方式：精确匹配适用于流程固定的场景，子序列匹配更宽松，只要求关键步骤按序出现。
50%待验证精确匹配速度快但容易漏掉同一人使用不同联系方式的情况，模糊匹配覆盖更广但计算成本较高
50%