CacheGraft
一种基于 Cache-to-Cache(C2C)融合框架的检索增强生成(RAG)方法,通过离线将文档编码为大模型与小模型之间的融合 KV 缓存,在线时直接注入小模型,从而在不调用大模型的情况下实现知识迁移。
时间轴 (近 90 天)
CacheGraft 是一种基于 Cache-to-Cache(C2C)融合框架的检索增强生成方法,在离线阶段将语料库中的每个段落编码为大模型与小模型之间的融合 KV 缓存表示,查询时直接注入小模型,无需调用大模型。
CacheGraft 实验中使用的接收方小模型为 0.6B 参数,源大模型为 4B 参数。
CacheGraft 在五个问答基准上进行了评测,使用两个独立运行的本地评委模型。
CacheGraft 在 30 次对比中有 29 次优于纯文本的接收方基线,其中 17 次具有统计显著性。
CacheGraft 的增益对于融合器(fuser)来说是零样本的,融合器从未在检索数据上训练过。
CacheGraft 的论文将自身定位为'初步结果',并指出缓存注入的兼容性、不同模型对之间的迁移效果、以及缓存表示随语料规模增长的可扩展性都是待解问题。
全部知识事实 (6)
CacheGraft 是一种基于 Cache-to-Cache(C2C)融合框架的检索增强生成方法,在离线阶段将语料库中的每个段落编码为大模型与小模型之间的融合 KV 缓存表示,查询时直接注入小模型,无需调用大模型。
50%待验证CacheGraft 实验中使用的接收方小模型为 0.6B 参数,源大模型为 4B 参数。
50%待验证CacheGraft 在五个问答基准上进行了评测,使用两个独立运行的本地评委模型。
50%待验证CacheGraft 在 30 次对比中有 29 次优于纯文本的接收方基线,其中 17 次具有统计显著性。
50%待验证CacheGraft 的增益对于融合器(fuser)来说是零样本的,融合器从未在检索数据上训练过。
50%待验证CacheGraft 的论文将自身定位为'初步结果',并指出缓存注入的兼容性、不同模型对之间的迁移效果、以及缓存表示随语料规模增长的可扩展性都是待解问题。
50%