BIRD
一种用于LLM推理过程追踪与分析的工具或方法，可定位推理执行过程中的失败原因
时间轴 (近 90 天)
在BIRD的七表数据库上，SchemagateRetriever仅缩减提示词体积8.8%。
92.9%与8.8%均为作者自测的中位数，且仅在Spider 2.0与BIRD的特定schema上得出，尚未看到第三方独立复现。
同一套流水线、同样的 135 道 Spider 2.0-lite SQLite 题上，Sonnet 拿到 71.9% 而 Opus 只有 67.4%，但在 BIRD 上 Opus 表现更好。
在 BIRD dev 集全部 1534 道题上，Claude Opus 5.5 取得了 77.1% 的执行准确率。
BIRD 是 Text-to-SQL 领域最具影响力的公开基准之一，其 dev 集包含 1534 道跨多个数据库的自然语言问句，评估通常以执行准确率为准。
UniQL是一个新的基准测试，将BIRD数据集中的1,534个问题翻译成了16种SQL方言。
schemagate 作者指出其局限：仅测试了一个模型，提示词措辞是在 100 道 BIRD 问题上选定的；去掉这两个因素后分数基本不变（90.08）。
该论文在 BIRD 数据集上测试纯 schema 过滤的最佳配置，仍有约 27% 本应拒绝的问题被模型回答了。
schemagate 在提示词中加入“你看到的是这个数据库的一部分，如果需要更多信息就拒绝作答”，在 100 道问题的试点中将错误答案从 16% 降到了 5%。
在 BIRD 数据集上，schemagate 的 AC-F1 达到 90.1，而论文中 13 个模型的最佳成绩为 88.1（该模型能看到完整 schema 和策略）。
还有 19 条时间轴事件
全部知识事实 (20)
在BIRD的七表数据库上，SchemagateRetriever仅缩减提示词体积8.8%。
50%待验证92.9%与8.8%均为作者自测的中位数，且仅在Spider 2.0与BIRD的特定schema上得出，尚未看到第三方独立复现。
50%待验证同一套流水线、同样的 135 道 Spider 2.0-lite SQLite 题上，Sonnet 拿到 71.9% 而 Opus 只有 67.4%，但在 BIRD 上 Opus 表现更好。
50%待验证在 BIRD dev 集全部 1534 道题上，Claude Opus 5.5 取得了 77.1% 的执行准确率。
50%待验证BIRD 是 Text-to-SQL 领域最具影响力的公开基准之一，其 dev 集包含 1534 道跨多个数据库的自然语言问句，评估通常以执行准确率为准。
50%待验证UniQL是一个新的基准测试，将BIRD数据集中的1,534个问题翻译成了16种SQL方言。
50%待验证schemagate 作者指出其局限：仅测试了一个模型，提示词措辞是在 100 道 BIRD 问题上选定的；去掉这两个因素后分数基本不变（90.08）。
50%待验证该论文在 BIRD 数据集上测试纯 schema 过滤的最佳配置，仍有约 27% 本应拒绝的问题被模型回答了。
50%待验证schemagate 在提示词中加入“你看到的是这个数据库的一部分，如果需要更多信息就拒绝作答”，在 100 道问题的试点中将错误答案从 16% 降到了 5%。
50%待验证在 BIRD 数据集上，schemagate 的 AC-F1 达到 90.1，而论文中 13 个模型的最佳成绩为 88.1（该模型能看到完整 schema 和策略）。
50%待验证schemagate 在两个数据集上实际读取禁止列的查询数均为 0。
50%待验证去掉作用域检查后，schemagate在BIRD上的误答率从5.4%升至11.3%。
50%待验证在BIRD数据集上，论文中最佳的“隐藏schema”配置对于本应拒绝的问题仍有27%给出了回答。
50%待验证使用Claude Sonnet 4.5运行五次，schemagate在BIRD上的AC-F1为90.1，论文最佳配置为88.1。
50%待验证在BIRD上，schemagate应拒绝却作答的比例为5.4%，低于论文最佳配置的7.4%。
50%待验证schemagate在BIRD和Spider两个数据集中均未出现读取禁止数据的SQL。
50%待验证给模型提供BIRD的列描述反而使schemagate的结果变差。
50%待验证提示语的措辞是在100个BIRD问题上选定的，而这些问题是测试集的一部分，存在调参污染。
50%待验证BIRD数据库版本为2024版，论文使用的是2025版。
50%待验证schemagate benchmark 的配对 McNemar 检验，Spider 上 p 值约 1e-49，BIRD 上约 1e-36。
50%