ROUGE
Recall-Oriented Understudy for Gisting Evaluation，一组用于评估自动摘要和机器翻译质量的词法评估指标，通过计算候选文本与参考文本之间的n-gram重叠率来衡量文本相似度
核心事实
时间轴 (近 90 天)
文本领域使用困惑度（Perplexity）或ROUGE分数评估流畅度与相关性
ROUGE侧重召回率，常用于摘要评估
BLEU、ROUGE等通用文本指标只关注字面词语匹配，无法衡量用户按文档操作后能否真正完成任务
在DoGBench之前，评估AI生成文档的质量大多依赖主观判断或通用文本指标如BLEU、ROUGE
现有生成式AI评估方法依赖BLEU、ROUGE等文本重叠指标或LLM-as-judge，但在评估演示文稿时存在无法捕捉叙事逻辑和视觉布局的局限
仅靠 BLEU、ROUGE 或整体准确率等聚合指标来评估上下文压缩策略是不充分的，因为它们衡量的是典型情况下的平均表现而非最坏情况的覆盖保障
在商业对话场景中，以BLEU、ROUGE或人工打分为导向的优化路径可能存在目标错位的风险
ROUGE通过计算系统摘要与参考摘要之间的n-gram重叠率来量化摘要质量，ROUGE-1、ROUGE-2和ROUGE-L分别衡量单字、双字和最长公共子序列的重叠程度
ROUGE指标存在长度偏差：生成较短摘要的模型在精确率占优，较长摘要模型在召回率占优，且ROUGE不能衡量事实一致性
传统指标如BLEU、ROUGE对语义质量、逻辑连贯性等开放式维度的感知不如LLM-as-a-judge接近人类判断
还有 7 条时间轴事件
全部知识事实 (17)
智能体评估的主流方案包括LLM-as-Judge、轨迹匹配和结果验证
90%待验证文本领域使用困惑度（Perplexity）或ROUGE分数评估流畅度与相关性
50%待验证ROUGE侧重召回率，常用于摘要评估
50%待验证在DoGBench之前，评估AI生成文档的质量大多依赖主观判断或通用文本指标如BLEU、ROUGE
50%待验证BLEU、ROUGE等通用文本指标只关注字面词语匹配，无法衡量用户按文档操作后能否真正完成任务
50%待验证现有生成式AI评估方法依赖BLEU、ROUGE等文本重叠指标或LLM-as-judge，但在评估演示文稿时存在无法捕捉叙事逻辑和视觉布局的局限
50%待验证仅靠 BLEU、ROUGE 或整体准确率等聚合指标来评估上下文压缩策略是不充分的，因为它们衡量的是典型情况下的平均表现而非最坏情况的覆盖保障
50%待验证在商业对话场景中，以BLEU、ROUGE或人工打分为导向的优化路径可能存在目标错位的风险
50%待验证ROUGE通过计算系统摘要与参考摘要之间的n-gram重叠率来量化摘要质量，ROUGE-1、ROUGE-2和ROUGE-L分别衡量单字、双字和最长公共子序列的重叠程度
50%待验证ROUGE指标存在长度偏差：生成较短摘要的模型在精确率占优，较长摘要模型在召回率占优，且ROUGE不能衡量事实一致性
50%待验证传统指标如BLEU、ROUGE对语义质量、逻辑连贯性等开放式维度的感知不如LLM-as-a-judge接近人类判断
50%待验证claim-overlap 评分器将答案拆解为词元或 n-gram 片段计算重叠比率，其思路与 ROUGE 指标家族（尤其 ROUGE-1、ROUGE-2）一脉相承
50%待验证Agent效果评估的常见方式包括记录用户满意度反馈、统计工具调用成功率、用ROUGE或BLEU指标对比模型回答与标准答案的相似度
50%待验证BERTScore 通过计算候选文本与参考文本在语义嵌入空间中的余弦相似度来衡量质量，区别于基于词汇重叠的BLEU、ROUGE等指标
50%待验证输出保真度评估综合了BLEU、ROUGE-1/2/L、BERTScore-F1和SentenceBERT余弦相似度多个指标
50%待验证BLEU、ROUGE等基于n-gram重叠的传统指标在开放式对话中表现不佳
50%待验证BLEU、ROUGE等文本相似度指标难以衡量法律要旨的好坏，因为法律上正确的表述可能与标准答案用词完全不同
50%