模型
FuseRAG
一种面向GraphRAG的推理加速方法,通过分离可复用内容与查询相关的结构交互,将结构信息直接注入解码器自注意力层,实现无损的TTFT加速
时间轴 (近 90 天)
10月19日
FuseRAG通过将可复用内容与查询相关的结构交互分离,并将后者注入解码器自注意力层,实现相对最佳GraphRAG基线2.2到2.7倍的TTFT加速,且质量无损。
待验证50%
一种面向GraphRAG的推理加速方法,通过分离可复用内容与查询相关的结构交互,将结构信息直接注入解码器自注意力层,实现无损的TTFT加速
FuseRAG通过将可复用内容与查询相关的结构交互分离,并将后者注入解码器自注意力层,实现相对最佳GraphRAG基线2.2到2.7倍的TTFT加速,且质量无损。