[控场AI]
产品wallaby-agent-rules

Skill Forge

一个为 AI agent 构建结构化技能文件(SKILL.md)的开源管道工具,通过需求访谈、受控生成和机械审计产出指令文档,告诉 agent 何时触发、做什么、永远不做什么

时间轴 (近 90 天)

10月14日

Skill Forge 是一个为 AI agent 构建技能文件(SKILL.md)的管道,通过需求访谈、受控生成和机械审计产出结构化指令文档,属于 wallaby-agent-rules 仓库,采用 MIT + Commons Clause 许可。

待验证50%
10月14日

在触发召回率上,一次性生成以 98.3%(118/120)击败结构化管道 91.7%(110/120),95% Wilson 区间重叠。

待验证50%
10月14日

在第三轮路由测试中,使用弱模型 DeepSeek V4.1-Flash,480 次路由判断,管道组所有失误均表现为模型拒绝触发而非选错技能;移除 description 中的边界否定从句后,此类失误从 10 次降至 0。

待验证50%
10月14日

在第四轮实验中,陷阱问题导致差距从第三轮的 6.6 个百分点缩小到 2.7 个百分点,失败模式变为模型选错近邻技能而非拒绝触发。

待验证50%
10月14日

手工调优的冠军版本技能包含一条路由判决行,直接点明混淆场景,而没有任何生成器见过其近邻,因此写不出该判决行。

待验证50%
10月14日

机械审计能抓住即兴组编造从未发生的坑、引用不存在的价格;管道组在所有生成文件中没有红旗或虚构细节。

待验证50%
10月14日

将失败记录指令从脚注移入编号任务步骤后,弱模型的反馈记录得分从 0.00 升至 1.80(满分 2),二十次执行、两个模型均未在脚注版本中触发该指令。

待验证50%
10月14日

同一个脚手架把弱模型的执行品质从 0.88 提升到 2.0(四个评分维度),却把强模型推向过度谨慎的关闭(四维度全降)。

待验证50%
10月14日

技能文件大小按字节计算硬预算:6KB 以下八次运行零烧穿,6–9KB 约 25% 空响应,9KB 以上约 50%;一个自然膨胀到 9.2KB 的技能文件让弱模型连续六次返回空响应。

待验证50%
10月14日

Skill Forge 不制造能力均等的模型,而是让品质要求在不同模型间保持一致,重心从创作移到生命周期(健康检查、失败账本、受控修订)。

待验证50%

还有 2 条时间轴事件

全部知识事实 (12)

待验证

Skill Forge 是一个为 AI agent 构建技能文件(SKILL.md)的管道,通过需求访谈、受控生成和机械审计产出结构化指令文档,属于 wallaby-agent-rules 仓库,采用 MIT + Commons Clause 许可。

50%
待验证

在触发召回率上,一次性生成以 98.3%(118/120)击败结构化管道 91.7%(110/120),95% Wilson 区间重叠。

50%
待验证

在第三轮路由测试中,使用弱模型 DeepSeek V4.1-Flash,480 次路由判断,管道组所有失误均表现为模型拒绝触发而非选错技能;移除 description 中的边界否定从句后,此类失误从 10 次降至 0。

50%
待验证

在第四轮实验中,陷阱问题导致差距从第三轮的 6.6 个百分点缩小到 2.7 个百分点,失败模式变为模型选错近邻技能而非拒绝触发。

50%
待验证

手工调优的冠军版本技能包含一条路由判决行,直接点明混淆场景,而没有任何生成器见过其近邻,因此写不出该判决行。

50%
待验证

机械审计能抓住即兴组编造从未发生的坑、引用不存在的价格;管道组在所有生成文件中没有红旗或虚构细节。

50%
待验证

将失败记录指令从脚注移入编号任务步骤后,弱模型的反馈记录得分从 0.00 升至 1.80(满分 2),二十次执行、两个模型均未在脚注版本中触发该指令。

50%
待验证

同一个脚手架把弱模型的执行品质从 0.88 提升到 2.0(四个评分维度),却把强模型推向过度谨慎的关闭(四维度全降)。

50%
待验证

技能文件大小按字节计算硬预算:6KB 以下八次运行零烧穿,6–9KB 约 25% 空响应,9KB 以上约 50%;一个自然膨胀到 9.2KB 的技能文件让弱模型连续六次返回空响应。

50%
待验证

Skill Forge 不制造能力均等的模型,而是让品质要求在不同模型间保持一致,重心从创作移到生命周期(健康检查、失败账本、受控修订)。

50%
待验证

Skill Forge 实践上包含三部分:推导协议(访谈骨架提取需求,高风险清单强制显式确认)、带出生证明的生成规范(触发测试对作为回归基线)、维护循环(失败账本、七项健康检查、逐句四判决优化)。

50%
待验证

全面关闭条款(如「如果条件未完全满足,完全停止」)在人类读来谨慎,但强模型会执行为正义关闭,拒绝本可完成的任务。

50%

来源文章