产品
FewHumans
面向LLM评估的开源统计工具库,决定哪些样本需人工标注,并用预测驱动推断融合人工标签与裁判标签,提供带统计保证的置信区间
时间轴 (近 90 天)
10月19日
FewHumans是一个开源库,用于决定哪些样本应交给人工标注、使用预测驱动推断(PPI)融合人工标签与裁判标签,并判断何时停止标注。
待验证50%
10月19日
FewHumans实测仅节省约9%的人工标签(区间估计0.91 [0.87, 0.95]),而非宣传中的10倍。
待验证50%
10月19日
FewHumans库可通过pip install fewhumans安装,包含47个测试,并提供示例脚本examples/toy_end_to_end.py。
待验证50%
10月19日
作者列出的局限包括:9%的节省不是数量级提升、7个任务偏英文、裁判只有三个中端模型、每个配置只跑一次、F1等比率型估计量尚未支持、主动路由需要工作流记录概率而部分生产系统没有该日志。
待验证50%
全部知识事实 (4)
待验证
FewHumans是一个开源库,用于决定哪些样本应交给人工标注、使用预测驱动推断(PPI)融合人工标签与裁判标签,并判断何时停止标注。
50%待验证FewHumans实测仅节省约9%的人工标签(区间估计0.91 [0.87, 0.95]),而非宣传中的10倍。
50%待验证FewHumans库可通过pip install fewhumans安装,包含47个测试,并提供示例脚本examples/toy_end_to_end.py。
50%待验证作者列出的局限包括:9%的节省不是数量级提升、7个任务偏英文、裁判只有三个中端模型、每个配置只跑一次、F1等比率型估计量尚未支持、主动路由需要工作流记录概率而部分生产系统没有该日志。
50%