QuALITY

KV-Surgeon在QuALITY、LongHealth和Long Code Arena三个长上下文基准数据集上进行了评估。

LatComm在QuALITY数据集上减少57倍输入并提速3倍。

QuALITY是一个长文档阅读理解基准，包含多篇长文章（平均约5000词）和多项选择题。

LatComm在QuALITY数据集上回答一篇文章所有问题的速度提升3倍。

论文报告称，RAPTOR 在 QuALITY 基准（长文档问答）上搭配 GPT-4 时，绝对准确率提升约 20 点，当时达到最先进水平。