[控场AI]
概念Swarm Telepathy / SwaT

SwaT

一种跨模型家族传递KV缓存的多智能体通信方法,允许冻结的异构LLM之间直接共享中间KV状态而无需接收方prefill,通过轻量对齐层实现形状适配与语义对齐

时间轴 (近 90 天)

10月14日

SwaT(Swarm Telepathy)是一种支持跨模型家族KV缓存传递的方法,使多家族多智能体系统实现无prefill通信。

待验证50%
10月14日

SwaT训练只需不到5000万token和不到1个GPU-day。

待验证50%
10月14日

SwaT要求发送方和接收方模型均保持冻结,不做微调。

待验证50%
10月14日

在智能体到智能体的通信场景中,SwaT结合近期KV缓存压缩技术,在准确率上平均比文本到文本通信高出40%,墙钟时间平均快4倍。

待验证50%
10月14日

SwaT实验覆盖12个LLM、6个模型家族、17个基准测试。

待验证50%
10月14日

如果发送方是视觉语言模型(VLM),SwaT能把视觉能力传递给纯文本接收方LLM,效果超过文本到文本通信,尽管SwaT本身只在纯文本数据上训练过。

待验证50%
10月14日

SwaT的机制推断为在缓存层面做投影或对齐,而不是改动模型本身。

待验证50%

全部知识事实 (7)

来源文章