概念自我进化harness / Self-Evolving Harness框架
Self-Evolving Harness
一种让语言模型智能体在冻结模型参数的前提下,以同一套harness代码同时扮演解题者和优化者角色,通过递归自我改进方式不断迭代优化自身执行框架的技术范式
时间轴 (近 90 天)
10月1日
该论文提出的Self-Evolving Harness框架让同一个冻结的模型既当解题者(solver)又当优化者(proposer),自己编辑运行自己的那套代码
待验证50%
10月1日
该框架每个进化批次从五个不同领域的基准测试中抽取任务,以避免过拟合到狭窄的任务分布
待验证50%
10月1日
第一阶段结束时得到的harness在分布内基准上平均分提升了4.48分,在分布外基准上提升了12.64分
待验证50%
10月1日
第一阶段的表现在分布内基准上超越了Codex,在分布外基准上与Codex持平
待验证50%
10月1日
进化过程中自发涌现出输出截断、历史压缩和独立审查三种机制,这些机制并非人工预先设计
待验证50%
10月1日
该论文将整个进化过程框定为多任务预训练和持续训练两个阶段,借鉴深度学习训练范式
待验证50%
全部知识事实 (6)
待验证
该论文提出的Self-Evolving Harness框架让同一个冻结的模型既当解题者(solver)又当优化者(proposer),自己编辑运行自己的那套代码
50%待验证该框架每个进化批次从五个不同领域的基准测试中抽取任务,以避免过拟合到狭窄的任务分布
50%待验证第一阶段结束时得到的harness在分布内基准上平均分提升了4.48分,在分布外基准上提升了12.64分
50%待验证第一阶段的表现在分布内基准上超越了Codex,在分布外基准上与Codex持平
50%待验证进化过程中自发涌现出输出截断、历史压缩和独立审查三种机制,这些机制并非人工预先设计
50%待验证该论文将整个进化过程框定为多任务预训练和持续训练两个阶段,借鉴深度学习训练范式
50%