LatComm：可复用上下文压缩，让LLM间通信提速3倍

当多个大语言模型（LLM）协同处理大量问题时，一个常见的瓶颈是：上下文以文本形式在模型间传递，接收方每次都要重新处理所有token，造成巨大的计算浪费。来自学术界的最新研究LatComm提出了一种潜在通信接口，通过分离编码与读取，实现了上下文的一次编码、多次复用，并在12个多项选择题数据集上显著提升准确率，同时在QuALITY数据集上减少57倍输入并提速3倍。

问题背景：多模型协作中的上下文重复处理

在多LLM系统中，一个上下文（如一篇文章或对话历史）常被用于回答多个问题。如果上下文以文本形式传递，接收模型必须为每个问题重新编码所有token，即使上下文完全相同。这种重复计算不仅拖慢响应速度，也消耗大量算力。理想方案需要上下文表示同时满足三个条件：紧凑、可跨问题复用、能被不同LLM读取。现有压缩方法（如单向量摘要）虽紧凑但信息损失大；潜在通信方法虽能传递丰富信息，但通常需要针对每个问题重新编码上下文。LatComm试图同时满足这三个属性。

潜在通信（Latent Communication）：指模型之间不通过自然语言文本，而是直接在连续向量空间（潜在空间）中传递信息的通信方式。与文本通信相比，潜在通信避免了token化与重新编码的开销，且能传递更丰富、高维的语义信息。然而，潜在表示通常与特定模型或任务绑定，跨模型复用时需要对齐潜在空间。LatComm通过冻结编码器和接收器，并训练交叉注意力读取模块，部分解决了跨模型读取的难题，但潜在空间对齐仍是开放挑战。

LatComm核心机制：编码与读取分离

LatComm的关键设计是将上下文编码与问题读取解耦。系统包含一个冻结的上下文编码器LLM和一个冻结的接收器LLM（两者可以是不同模型）。编码器将上下文（不含问题）压缩成一个固定大小的“数据包”（packet），即一组潜在向量。接收器则通过交叉注意力机制读取该数据包，注意力门控由接收器自身的提示（prompt）计算得出，从而针对每个问题动态选择需要读取的信息。由于上下文只编码一次，所有问题共享同一数据包，接收器无需重新处理原始上下文。

交叉注意力机制：在Transformer架构中，交叉注意力允许一个序列（如接收器的提示）作为查询（Query），另一个序列（如编码器生成的数据包）作为键（Key）和值（Value），从而动态地聚合信息。LatComm中，接收器利用自身提示计算注意力权重，对数据包中的潜在向量进行加权读取，实现问题感知的信息提取。这种机制不改变接收器参数，仅通过训练读取模块（如注意力层）来适配，因此保持了模型的通用性。交叉注意力常用于编码器-解码器模型（如T5）和视觉-语言模型，是跨模态信息融合的核心组件。

实验结果：准确率提升与效率优化

在12个多项选择题问答数据集上，LatComm的平均准确率相比单向量基线最高提升10.2个百分点。单向量基线通常将上下文压缩为一个向量，信息瓶颈明显；LatComm的固定大小数据包保留了更多信息，且接收器能按需提取。在QuALITY数据集（长文档阅读理解）上，LatComm将接收器的输入减少57倍，回答一篇文章所有问题的速度提升3倍。这意味着在需要处理大量问题的场景下，延迟和吞吐量均有显著改善。

QuALITY数据集：QuALITY（Question Answering with Long Input Texts, Yes!）是一个长文档阅读理解基准，包含多篇长文章（平均约5000词）和多项选择题，要求模型基于全文回答。该数据集专为评估长上下文理解能力设计，常见于检索增强生成和长文档问答研究。LatComm在QuALITY上实现57倍输入减少和3倍提速，凸显了潜在通信在长上下文场景下的效率优势，因为传统方法需为每个问题重复编码长文档。

技术细节与设计取舍

LatComm采用冻结模型，不微调编码器和接收器，仅训练交叉注意力读取模块（推断）。这种设计降低了训练成本，并保持了模型的通用性。固定大小的数据包是信息保留与传输效率的折中：包越大，信息越丰富但传输开销越高；包越小则反之。实验表明，即使包尺寸固定，接收器仍能通过问题感知的门控有效提取相关信息。与需要为每个问题重新编码的潜在通信方法相比，LatComm的复用性是其核心优势。

行业影响与未来方向

LatComm的潜在通信接口为多LLM系统提供了一种高效协作范式。在检索增强生成（RAG）、多智能体辩论、长文档问答等场景中，上下文复用可以大幅降低推理成本。不过，该方法目前主要针对多项选择题评估，开放生成任务的表现尚待验证。此外，冻结模型间的潜在空间对齐可能限制跨模型家族的泛化能力。未来工作可探索动态包大小、端到端微调以及更广泛的模型组合。

LatComm通过分离编码与读取，让上下文压缩变得可复用，为LLM间通信提供了新思路。其代码和模型尚未公开，但论文已引发关注。