待验证50% 置信事实精确时间
研究中有一个评分器在900条响应中一次都没有打出合规标签。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
LLM评分器吞掉合规类：越狱成功率可差22倍
rss2026/10/17
涉及实体
相关事实
待验证在两个各含900条响应的语料、共八个评分器上，合规率在不同评分器之间相差22到25倍。71% 相似待验证一个准确率97%的发票分类模型，审核员每天看300张发票时大约只有9张是错的，错误项淹没在正确项中导致审核员驳回率趋近于零70% 相似待验证在100个问题上单独测试“视图不完整”提示，无提示时误答率为16%，有提示时降至5%。69% 相似待验证作者测试的五款评测器中，如果答案键有细微错误，得分只有0.21——低于完全不给键（0.46），也低于给一个毫不相关的键（0.50）；而经人工核验的模型生成答案能拿到0.61，接近人工撰写的0.69。68% 相似待验证准确率从74%到76%在50条评估集上仅对应多答对1条样本，该差异在统计上几乎没有意义。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074733API
curl https://kongchang.com/api/v1/knowledge/claims/1074733MCP
get_claim(id=1074733)