HarnessDev
一篇量化AI agent自我改进循环中反馈信号与留出信号一致性的研究论文，发现两者一致率仅53.1%，且harness存在严重的执行器依赖问题
时间轴 (近 90 天)
HarnessDev论文测量了让AI agent自行修改其执行框架（harness）并根据反馈决定是否保留修改的循环过程，首次量化了反馈信号与留出信号的一致性。
在64次相邻版本切换中，反馈分数和留出分数只有34次同向移动，一致率为53.1%。
在9个演化谱系中，只有2个最终停在留出集上表现最好的版本。
演化阶段的平均增益为+3.11分，但该增益能否泛化，反馈门控无法给出可靠答案。
论文作者和Reddit发帖者判断，HarnessDev的问题在于选择策略（selection policy）而非提案器（proposer）能力不足。
同一个harness在一个模型下得分69.3，换到另一个模型下只有33.0，表明执行器依赖极其严重。
拒绝记忆机制让提案器接收最近被拒绝的提案及其裁决理由，以及上一步的失败清单，以避免重复提出已被否决的切换；论文的循环中似乎没有包含这一机制。
全部知识事实 (7)
HarnessDev论文测量了让AI agent自行修改其执行框架（harness）并根据反馈决定是否保留修改的循环过程，首次量化了反馈信号与留出信号的一致性。
50%待验证在64次相邻版本切换中，反馈分数和留出分数只有34次同向移动，一致率为53.1%。
50%待验证在9个演化谱系中，只有2个最终停在留出集上表现最好的版本。
50%待验证演化阶段的平均增益为+3.11分，但该增益能否泛化，反馈门控无法给出可靠答案。
50%待验证论文作者和Reddit发帖者判断，HarnessDev的问题在于选择策略（selection policy）而非提案器（proposer）能力不足。
50%待验证同一个harness在一个模型下得分69.3，换到另一个模型下只有33.0，表明执行器依赖极其严重。
50%待验证拒绝记忆机制让提案器接收最近被拒绝的提案及其裁决理由，以及上一步的失败清单，以避免重复提出已被否决的切换；论文的循环中似乎没有包含这一机制。
50%