Spider-ACL
基于Spider扩展的访问控制基准测试，为每个问题引入多种用户角色，并使用真实PostgreSQL GRANT定义权限
时间轴 (近 90 天)
Spider-ACL基准测试来自EACL 2026的一篇论文（Klisura等），将Spider的每个问题配上四种用户角色，并以真实的PostgreSQL GRANT形式呈现。
Spider-ACL数据集包含19,624个问题-角色对，每个问题附有Postgres在参考查询以该角色运行时的实际回应（允许或permission denied）。
修复Bug后，schemagate使用Claude Sonnet 5.5跑完Spider-ACL全部19,624条记录，拒绝F1达到0.984。
在Spider-ACL完整测试中，schemagate回答了1.8%的禁止问题，但读取未授权数据的记录为0/8,128。
论文最佳系统（微调Mistral-7B）在Spider-ACL上的拒绝F1为0.933，未报告回答禁止问题的比例和读取未授权数据的情况。
拒绝F1是Spider-ACL的核心指标，将‘拒绝’视为正类，计算精确率与召回率的调和平均；它只评估回答/拒绝的二元决策，不评估被回答的查询本身是否正确。
全部知识事实 (6)
Spider-ACL基准测试来自EACL 2026的一篇论文（Klisura等），将Spider的每个问题配上四种用户角色，并以真实的PostgreSQL GRANT形式呈现。
50%待验证Spider-ACL数据集包含19,624个问题-角色对，每个问题附有Postgres在参考查询以该角色运行时的实际回应（允许或permission denied）。
50%待验证修复Bug后，schemagate使用Claude Sonnet 5.5跑完Spider-ACL全部19,624条记录，拒绝F1达到0.984。
50%待验证在Spider-ACL完整测试中，schemagate回答了1.8%的禁止问题，但读取未授权数据的记录为0/8,128。
50%待验证论文最佳系统（微调Mistral-7B）在Spider-ACL上的拒绝F1为0.933，未报告回答禁止问题的比例和读取未授权数据的情况。
50%待验证拒绝F1是Spider-ACL的核心指标，将‘拒绝’视为正类，计算精确率与召回率的调和平均；它只评估回答/拒绝的二元决策，不评估被回答的查询本身是否正确。
50%