基准SmoothScore评分流程
SmoothScore
一种主张级评分流程,用于量化LLM研究代理在综合多源信息时产生的“主张平滑”程度,通过提取主张、聚类证据并对每个主张评分来评估结论被证据支持的程度。
时间轴 (近 90 天)
10月27日
研究者提出了SmoothScore来量化主张平滑现象。
待验证50%
10月27日
SmoothScore以主张为单位进行评分,而非以整篇报告或单个句子为单位。
待验证50%
10月27日
SmoothScore的评分流程包括三个步骤:提取关键结论性主张、寻找相关证据并聚类、根据证据对每个主张进行评分。
待验证50%
10月27日
证据聚类是SmoothScore流程中的关键环节,其作用是将异质的证据片段按高层面的方面归并,以避免重复证据虚高主张可信度,并识别证据内部的矛盾。
待验证50%
10月27日
聚类质量直接影响SmoothScore的可靠性,因此研究者通常需要结合语义相似度与人工校验来构建稳定的证据簇。
待验证50%