概念Swarm Telepathy / SwaT
SwaT
一种跨模型家族传递KV缓存的多智能体通信方法,允许冻结的异构LLM之间直接共享中间KV状态而无需接收方prefill,通过轻量对齐层实现形状适配与语义对齐
时间轴 (近 90 天)
10月14日
SwaT(Swarm Telepathy)是一种支持跨模型家族KV缓存传递的方法,使多家族多智能体系统实现无prefill通信。
待验证50%
10月14日
SwaT训练只需不到5000万token和不到1个GPU-day。
待验证50%
10月14日
SwaT要求发送方和接收方模型均保持冻结,不做微调。
待验证50%
10月14日
在智能体到智能体的通信场景中,SwaT结合近期KV缓存压缩技术,在准确率上平均比文本到文本通信高出40%,墙钟时间平均快4倍。
待验证50%
10月14日
SwaT实验覆盖12个LLM、6个模型家族、17个基准测试。
待验证50%
10月14日
如果发送方是视觉语言模型(VLM),SwaT能把视觉能力传递给纯文本接收方LLM,效果超过文本到文本通信,尽管SwaT本身只在纯文本数据上训练过。
待验证50%
10月14日
SwaT的机制推断为在缓存层面做投影或对齐,而不是改动模型本身。
待验证50%
全部知识事实 (7)
待验证
SwaT(Swarm Telepathy)是一种支持跨模型家族KV缓存传递的方法,使多家族多智能体系统实现无prefill通信。
50%待验证SwaT训练只需不到5000万token和不到1个GPU-day。
50%待验证SwaT要求发送方和接收方模型均保持冻结,不做微调。
50%待验证在智能体到智能体的通信场景中,SwaT结合近期KV缓存压缩技术,在准确率上平均比文本到文本通信高出40%,墙钟时间平均快4倍。
50%待验证SwaT实验覆盖12个LLM、6个模型家族、17个基准测试。
50%待验证如果发送方是视觉语言模型(VLM),SwaT能把视觉能力传递给纯文本接收方LLM,效果超过文本到文本通信,尽管SwaT本身只在纯文本数据上训练过。
50%待验证SwaT的机制推断为在缓存层面做投影或对齐,而不是改动模型本身。
50%