[控场AI]
· 3 分钟阅读· 1,911 字

CoLFA:协作线索引导的轻量级多智能体故障归因

CoLFA:协作线索引导的轻量级多智能体故障归因

CoLFA利用协作线索组织归因输入,在多智能体故障归因中兼顾高准确率与低token消耗。

多智能体系统出错后追溯责任十分困难,因为智能体分工与信息交换导致执行步骤交织、记录内容杂乱,模型难以在定位准确性和token成本之间取得平衡。针对这一问题,研究者提出CoLFA方法,利用多智能体协作过程中留下的交接点和交叉引用等协作线索来组织归因输入。具体而言,CoLFA通过交接引导的步骤扩展聚焦关键错误路径,通过交叉引用内容组织减少重复和无关信息。在Who&When和LongRCA两个数据集、五种设置和三个主干模型上,CoLFA均取得最高的精确步骤定位准确率,同时token消耗最低,相比基线准确率最高提升37.50%,token消耗最高降低97.6%。

多智能体系统在复杂任务中展现出强大协作能力,但一旦出错,追溯责任却异常困难。当多个智能体分工并频繁交换信息时,执行步骤相互交织,内容变得杂乱,模型需要在冗长记录中链接执行过程、核对细节。这导致故障归因在定位准确性和token成本之间难以平衡。近期一篇来自rss的研究提出CoLFA(协作引导的轻量级故障归因),通过利用协作线索组织归因输入,在多个数据集和主干模型上实现了最高精确步骤定位准确率与最低token消耗的兼顾。

CoLFA研究概览

故障归因的挑战:交织步骤与杂乱内容

在基于LLM的多智能体系统中,故障归因要求追溯到错误形成的决定性步骤以及负责的智能体。然而,智能体之间的分工与信息交换导致两个突出问题:交织步骤(Interleaved Steps) 和杂乱内容(Cluttered Content)。前者意味着不同智能体的执行记录相互穿插,难以理清因果链条;后者则表现为记录中充斥着重复、无关的细节,模型必须从中筛选关键信息。这种复杂性使得模型在定位准确性和token开销之间难以两全——精细检查需要更多上下文,而长上下文又推高成本并引入噪声。

故障归因(Fault Attribution) 在多智能体系统语境下,指的是从系统产生错误结果后,逆向追溯到导致错误的具体执行步骤以及执行该步骤的智能体。它与传统软件调试中的“根因分析”类似,但对象从代码行变为自然语言驱动的智能体行为轨迹。由于LLM智能体的每一步输出都是自然语言,且步骤边界模糊,归因需要模型在语义层面判断哪一步的决策偏离了正确路径。这一任务通常被形式化为“给定完整执行记录和最终错误结果,输出错误步骤的索引及责任智能体”,评价指标为精确步骤定位准确率(exact step localization accuracy)。

协作线索:被忽视的归因证据

研究团队观察到,多智能体协作在形成结果的过程中,也留下了执行如何连接、内容如何在智能体之间传递的记录。这些协作线索(collaboration cues)实际上是追溯错误形成的宝贵证据。例如,智能体之间的交接(handoff)点往往对应着信息转移的关键节点,而交叉引用的内容则揭示了决策的依赖关系。CoLFA正是基于这一观察,利用协作线索来组织归因输入,根据结果的形成方式决定检查哪些步骤以及如何呈现其内容。

交接(Handoff) 是多智能体协作中的一种常见机制:当一个智能体完成子任务后,将控制权连同必要的上下文信息传递给下一个智能体。交接点通常包含发送方、接收方、传递内容以及触发条件等元数据。在故障归因中,交接点之所以关键,是因为信息在交接时可能被遗漏、曲解或过度简化,从而埋下错误种子。交叉引用(Cross-Reference) 则指一个智能体的输出被另一个智能体引用或依赖的关系,例如智能体B在推理中引用了智能体A先前的结论。交叉引用关系构成了智能体间的依赖图,有助于判断错误是局部产生还是沿依赖链传播。CoLFA正是利用这两类结构信息来缩小检查范围。

CoLFA的核心机制:交接引导扩展与交叉引用组织

CoLFA通过两个关键技术实现轻量级归因:Handoff-Guided Step Expansion 和 Cross-Referenced Content Organization。前者利用交接点引导步骤扩展,确保模型聚焦于错误形成的关键路径,而非均匀扫描所有记录;后者通过交叉引用组织内容,将相关的执行片段关联起来,减少重复和无关信息的处理。这两者协同工作,帮助模型集中审视错误形成过程以及每个决策的作用,同时显著降低token消耗。

实验效果:准确率与效率的双重提升

在Who&When和LongRCA两个数据集上,跨越五种设置和三个主干模型,CoLFA均取得了最高的精确步骤定位准确率,同时token消耗最低。与各设置下的单独基线相比,CoLFA将准确率最高提升37.50%,并将token消耗最高降低97.6%。这一结果验证了协作线索在故障归因中的有效性,也表明轻量级方法可以在不牺牲准确性的前提下大幅降低计算成本。

意义与展望

CoLFA为多智能体系统的故障归因提供了一种新思路:不是简单地增加上下文或模型规模,而是利用系统自身的协作结构来引导注意力。这对于构建可靠、可解释的多智能体应用不能忽视。未来,如何将协作线索更广泛地应用于动态环境,以及如何与现有调试工具结合,值得进一步探索。

#CoLFA#故障归因#多智能体系统#LLM#协作线索#轻量级归因#步骤定位
分享:

相关推荐