BIRD
一种用于LLM推理过程追踪与分析的工具或方法，可定位推理执行过程中的失败原因
时间轴 (近 90 天)
在BIRD基准测试中，使用令牌替代姓名的Aura方案正确率为67.6%，与真实数据的68.2%差距仅0.6个百分点，而外泄个人信息从849条降至0条
BIRD基准测试覆盖4个数据库共179道题，由Google的gemini-3.8-flash生成查询
纯本地小模型不外发数据的方案在BIRD测试中正确率仅为35.2%，远低于令牌化云端方案
BIRD是由香港大学联合Google等机构发布的文本转SQL基准测试集，包含脏数据、数值推理和外部知识依赖等现实挑战
衡量 NL2SQL 系统准确性的常用基准是 Spider 和 BIRD 数据集，Spider 测试跨域泛化能力，BIRD 更贴近真实企业数据库复杂度
研究借助BIRD追踪将失败定位到机制实现、激活和输出有效性三个环节
BIRD-financial是BIRD基准的金融子集，由人工专家编写SQL答案，被广泛用于评估text-to-SQL模型性能
全部知识事实 (7)
在BIRD基准测试中，使用令牌替代姓名的Aura方案正确率为67.6%，与真实数据的68.2%差距仅0.6个百分点，而外泄个人信息从849条降至0条
50%待验证BIRD基准测试覆盖4个数据库共179道题，由Google的gemini-3.8-flash生成查询
50%待验证纯本地小模型不外发数据的方案在BIRD测试中正确率仅为35.2%，远低于令牌化云端方案
50%待验证BIRD是由香港大学联合Google等机构发布的文本转SQL基准测试集，包含脏数据、数值推理和外部知识依赖等现实挑战
50%待验证衡量 NL2SQL 系统准确性的常用基准是 Spider 和 BIRD 数据集，Spider 测试跨域泛化能力，BIRD 更贴近真实企业数据库复杂度
50%待验证研究借助BIRD追踪将失败定位到机制实现、激活和输出有效性三个环节
50%待验证BIRD-financial是BIRD基准的金融子集，由人工专家编写SQL答案，被广泛用于评估text-to-SQL模型性能
50%