[控场AI]
产品draft_stability

draft_stability.py

一个离线运行的Python脚本,用于计算文本段落多次采样的稳定性评分,通过Jaccard相似度和主张型token分歧检测,为段落分配作者角色(模型草稿、模型大纲或人类撰写)。

时间轴 (近 90 天)

10月19日

提供的Python脚本draft_stability.py没有任何网络代码,因此可以在CI、笔记本电脑和定时任务中运行。

待验证50%
10月19日

在fixture示例samples.json中,install段落的三次采样措辞高度一致,获得MODEL-DRAFT / HUMAN-APPROVE裁决;retry-behavior段落的三次采样分别声称重试3次、5次和2次,退避时间从200ms到100ms到250ms不等,触发分歧主张检查并判为HUMAN。

待验证50%
10月19日

运行命令python draft_stability.py --fixture samples.json --k 3 --out record.md会生成记录输出。

待验证50%
10月19日

Fixture模式将“工具是否正确”与“模型是否可用”解耦,CI流水线可以始终运行fixture测试以确保评分路径没有回归。

待验证50%
10月19日

该工具不衡量模型质量,而是衡量输入是否已定。

待验证50%

全部知识事实 (5)

来源文章