LatComm
一种用于多LLM协作的潜在通信框架,通过分离上下文编码与问题读取,实现上下文一次编码、多次复用,提升推理效率与准确率。
时间轴 (近 90 天)
LatComm提出了一种潜在通信接口,通过分离编码与读取,实现上下文一次编码、多次复用。
LatComm在12个多项选择题数据集上平均准确率相比单向量基线最高提升10.2个百分点。
LatComm在QuALITY数据集上减少57倍输入并提速3倍。
LatComm系统包含一个冻结的上下文编码器LLM和一个冻结的接收器LLM,两者可以是不同模型。
LatComm仅训练交叉注意力读取模块,不微调编码器和接收器。
LatComm采用固定大小的数据包(一组潜在向量)作为上下文表示。
LatComm的潜在空间对齐可能限制跨模型家族的泛化能力。
LatComm目前主要针对多项选择题评估,开放生成任务的表现尚待验证。
LatComm的代码和模型尚未公开。
LatComm在QuALITY数据集上回答一篇文章所有问题的速度提升3倍。
全部知识事实 (10)
LatComm提出了一种潜在通信接口,通过分离编码与读取,实现上下文一次编码、多次复用。
50%待验证LatComm在12个多项选择题数据集上平均准确率相比单向量基线最高提升10.2个百分点。
50%待验证LatComm在QuALITY数据集上减少57倍输入并提速3倍。
50%待验证LatComm系统包含一个冻结的上下文编码器LLM和一个冻结的接收器LLM,两者可以是不同模型。
50%待验证LatComm仅训练交叉注意力读取模块,不微调编码器和接收器。
50%待验证LatComm采用固定大小的数据包(一组潜在向量)作为上下文表示。
50%待验证LatComm的潜在空间对齐可能限制跨模型家族的泛化能力。
50%待验证LatComm目前主要针对多项选择题评估,开放生成任务的表现尚待验证。
50%待验证LatComm的代码和模型尚未公开。
50%待验证LatComm在QuALITY数据集上回答一篇文章所有问题的速度提升3倍。
50%