WikiSkill
谷歌研究员提出的Agent知识进化系统概念,旨在让Agent在使用过程中不断沉淀和进化知识,类似维基百科式的自我完善机制
时间轴 (近 90 天)
台账系统的思路与谷歌研究员提出的WikiSkill(进化系统)有异曲同工之处,但台账为作者独立设计开发
WikiSkill的消融实验测试了允许推理智能体在训练期间读取Wiki层的效果
实验中让27B模型自己编写技能,其在LiveMath上的得分为56.3%
小模型作为技能撰写者、大模型作为技能执行者的分工模式可为多智能体系统提供成本优化思路
较小的4B模型能成为27B大模型编写技能的优秀'老师',因为小模型被迫写出高度显式、分步骤的操作指南
智能体能读取Wiki层时会直接抓取原始分析答案,绕过程序化技能,从而污染执行轨迹
智能体在能看到Wiki层原始分析时会直接抓取答案、绕过程序化技能,污染执行轨迹(捷径学习问题)
在设计教师-学生架构时,用小模型做知识蒸馏与技能提炼、用大模型做实际执行可能是更优的成本-性能组合
WikiSkill将发现、记录、执行三个环节解耦,避免单一循环中错误的相互传染,每一层可独立审计和优化
WikiSkill给出的架构原则是Wiki层应只对提出技能的智能体可见,而对执行智能体不可见
还有 16 条时间轴事件
全部知识事实 (20)
用小模型做技能提炼、大模型做实际执行可能是更优的成本-性能组合
70%待验证较小的模型被迫写出高度显式、分步骤的操作指南,这恰好是大模型擅长执行的输入形式
60%待验证台账系统的思路与谷歌研究员提出的WikiSkill(进化系统)有异曲同工之处,但台账为作者独立设计开发
50%待验证WikiSkill的消融实验测试了允许推理智能体在训练期间读取Wiki层的效果
50%待验证实验中让27B模型自己编写技能,其在LiveMath上的得分为56.3%
50%待验证小模型作为技能撰写者、大模型作为技能执行者的分工模式可为多智能体系统提供成本优化思路
50%待验证较小的4B模型能成为27B大模型编写技能的优秀'老师',因为小模型被迫写出高度显式、分步骤的操作指南
50%待验证智能体能读取Wiki层时会直接抓取原始分析答案,绕过程序化技能,从而污染执行轨迹
50%待验证智能体在能看到Wiki层原始分析时会直接抓取答案、绕过程序化技能,污染执行轨迹(捷径学习问题)
50%待验证当执行智能体能访问Wiki层时会直接抓取答案,绕过程序化技能,导致捷径学习并污染执行轨迹
50%待验证消融实验显示,允许推理智能体在训练期间读取Wiki层会导致胜率下降
50%待验证WikiSkill将发现、记录、执行三个环节解耦,避免单一循环中错误的相互传染,每一层可独立审计和优化
50%待验证WikiSkill给出的架构原则是Wiki层应只对提出技能的智能体可见,而对执行智能体不可见
50%待验证在设计教师-学生架构时,用小模型做知识蒸馏与技能提炼、用大模型做实际执行可能是更优的成本-性能组合
50%待验证编写技能的能力与执行技能的能力是不同的两种能力
50%待验证较小的4B模型能成为27B大模型的优秀技能编写'老师'
50%待验证WikiSkill论文提出将"技能发现"与"技能执行"彻底解耦的思路
50%待验证将发现、记录、执行三个环节解耦可避免单一循环中错误相互传染,并使各层可独立审计和优化
50%待验证WikiSkill给出的架构原则是Wiki层应只对提出技能的智能体可见,对执行智能体不可见
50%待验证当执行智能体能读取Wiki层时会直接抓取答案,绕过程序化技能,从而污染执行轨迹
50%