Spider
Spider是一个用于Text-to-SQL任务的大规模跨域基准测试数据集，旨在评估自然语言处理模型将自然语言问题转换为结构化SQL查询的能力。该数据集覆盖多个领域的数据库，包含复杂的多表连接查询场景，要求模型具备跨域泛化能力，是学术界和工业界衡量Text-to-SQL系统性能的重要参考标准之一。
核心事实
时间轴 (近 90 天)
衡量 NL2SQL 系统准确性的常用基准是 Spider 和 BIRD 数据集，Spider 测试跨域泛化能力，BIRD 更贴近真实企业数据库复杂度
On the Spider benchmark, the accuracy of state-of-the-art models rose from under 20% in 2018 to over 80%
在 Spider、BIRD 等主流 Text-to-SQL 评测中顶级模型准确率已超过 85%
全部知识事实 (9)
Spider评测基准于2018年由耶鲁大学发布，包含超过10,000个自然语言问题和对应的SQL查询，覆盖200个数据库
85%已验证在 Spider、BIRD 等主流 Text-to-SQL 评测中顶级模型准确率已超过 85%
75%待验证On the Spider benchmark, the accuracy of state-of-the-art models rose from under 20% in 2018 to over 80%
85%待验证IRNet和RATSQL等基于Seq2Seq和Transformer的模型在Spider基准数据集上取得了Text-to-SQL的突破
85%待验证GPT-4等大模型在Spider等基准测试上的零样本或少样本SQL生成准确率已超过80%
75%待验证在Spider基准上，早期单模型方案准确率约为70%，GPT-4等大模型将其提升到80%以上，多智能体协作策略的系统已能达到85%甚至更高的执行准确率
75%待验证主流Text-to-SQL方案依赖在WikiSQL、Spider等标准基准数据集上微调的模型
70%待验证衡量 NL2SQL 系统准确性的常用基准是 Spider 和 BIRD 数据集，Spider 测试跨域泛化能力，BIRD 更贴近真实企业数据库复杂度
50%待验证Spider爬虫工具用Rust原生编写，处理速度比同类产品快7倍
50%