[控场AI]
· 4 分钟阅读· 2,193 字

Genie基准测试:企业数据任务通过率91%背后的业务上下文之争

Genie基准测试:企业数据任务通过率91%背后的业务上下文之争

Genie团队基准显示,企业数据智能体需业务上下文检索而非仅SQL生成,Genie通过率91%远超对手。

Genie团队与@turingcom合作设计了一套企业数据任务基准,在Databricks工作区中测试智能体利用notebook、dashboard和保存SQL中的业务知识完成任务的能力。结果显示,由Genie Ontology驱动的Genie通过91%的运行,而两个前沿智能体分别仅为45%和58%;同时Genie使用的token不到对手一半,速度是对方的3–4倍。文章指出,核心差异在于业务上下文的检索与优先级排序,而非SQL语法正确性。语法有效的查询若使用错误定义仍会产出错误答案。该基准为厂商主导,普适性需独立验证,但为企业选型提供了重要参考:评估数据智能体时应关注其接入并正确使用业务知识资产的能力。

企业数据智能体究竟能不能被信任?一个常见的误区是:只要生成的SQL语法正确、表名和字段名对得上,答案就是对的。但真实企业环境中,业务定义、计算规则、指标口径往往散落在notebook、dashboard和保存的SQL查询里,一个“看起来合理”的查询完全可能得出错误结论。近日,Genie团队与@turingcom合作,针对这一痛点设计了一套企业数据任务基准测试,将Genie(由Genie Ontology驱动)与两个前沿智能体进行了对比。结果值得所有关注数据智能体落地的人细读。

基准测试设计:不止于表查询

这套基准并非只考察智能体能否写出正确的表查询。测试环境是一个运行中的Databricks工作区,智能体需要利用分散在notebook、dashboard和已保存SQL查询中的业务知识来完成任务,而不仅仅是依赖表结构。每个任务每个智能体运行五次,以降低单次偶然性的影响。

这种设计直指企业数据场景的真实难点:业务语义的碎片化。表结构告诉你“有什么字段”,但不告诉你“这个指标该怎么算”“这个口径是否符合财务规范”。智能体若只看到schema,就像拿到一本没有注释的词典,词都认识,句子却可能理解错。

Databricks工作区是Databricks数据智能平台的核心协作环境,集成了notebook、SQL编辑器、dashboard、作业调度和模型训练等功能。在数据智能体评测中,它作为测试环境具有代表性:首先,它还原了企业真实的数据工具链,智能体需要与多种资产类型(表格、notebook、dashboard等)交互;其次,Databricks工作区通常保存了企业数据团队在长期协作中积累的业务知识资产,例如探索性分析notebook、指标看板以及临时保存的SQL查询。这些资产往往包含未写入数据字典的“隐性知识”,如特定指标的计算逻辑、数据过滤条件或业务规则。因此,在此环境中测试智能体,能更全面地评估其从碎片化知识中提取并应用业务上下文的能力,而非仅仅检验其SQL语法生成水平。

结果对比:通过率、token与速度的全面差距

在运行结果上,Genie通过了91%的运行,而另外两个前沿智能体分别为45%和58%。同时,Genie使用的token不到对手的一半,完成速度是对方的3–4倍。

这组数据传递了两个信号。第一,通过率差距并非边际改进,而是接近翻倍的量级差异。第二,效率优势同样显著——更少的token意味着更低的推理成本和更短的响应链路,更快的完成速度则直接影响交互体验。对于需要频繁执行数据任务的企业用户来说,这两项指标与准确率同样重要。

需要说明的是,这是Genie团队与@turingcom合作开发的基准,属于厂商主导的评测。结果本身有参考价值,但在跨平台、跨数据栈的普适性上,仍需要更多独立第三方复现来验证。

关键差异:业务上下文而非SQL语法

Genie团队给出的解释很直接:核心差异在于业务上下文。一个语法有效的SQL查询,如果使用了错误的定义或计算规则,依然会产出错误答案。

这触及了当前数据智能体的一个结构性短板。多数智能体的工作流是“理解问题→匹配表结构→生成SQL”,业务知识要么靠提示词硬塞,要么靠模型参数里的常识去猜。而Genie Ontology的定位是检索并排序业务知识,帮助智能体找到并应用正确的上下文,而不是仅依赖表schema。换言之,它试图把“口径”和“规则”变成可检索的一等公民。

从工程视角看,这条路径的难点不在于检索本身,而在于业务知识的组织与优先级判断——哪些notebook片段是权威的、哪些dashboard口径已过时、哪些保存的SQL是历史遗留。Ontology在这里承担的是知识治理的角色,而不只是一个向量检索层。

业务知识检索与排序是数据智能体实现准确问答的关键环节。企业中的业务知识通常分散在notebook的注释、dashboard的指标定义、保存的SQL查询逻辑以及数据团队的日常沟通中。智能体需要从这些非结构化或半结构化来源中识别出与当前问题相关的片段,并判断其权威性和时效性——例如,某个dashboard可能已过时,而最近更新的notebook则更可靠。这一过程涉及信息检索、相关性排序和冲突消解。与通用的向量检索不同,业务知识检索还需考虑领域约束:财务指标必须遵循会计准则,运营指标需符合内部统计口径。因此,有效的检索机制不仅需要嵌入模型,还需引入规则引擎或知识图谱来辅助优先级判断,从而确保智能体应用“正确”而非仅仅“相关”的上下文。

对企业选型的启示

如果这组基准结果能够在更广泛的环境中复现,企业评估数据智能体时的 checklist 应该有所调整。只看“能否生成正确SQL”已经不够,更需要考察智能体能否接入并正确使用企业已有的业务知识资产。

具体而言,可以关注三个问题:智能体是否支持从notebook、dashboard、历史查询中抽取业务规则;是否有机制对冲突的业务定义做优先级排序;在口径变更时,知识层能否同步更新。这三点决定了智能体在企业数据任务中是“玩具”还是“工具”。

Genie团队已公开基准与方法论,可供进一步查阅。对于正在做数据智能体选型的技术团队,这份材料值得作为评估框架的起点,而非终点。

#Genie#Genie Ontology#企业数据智能体#基准测试#业务上下文#Databricks#数据任务
分享:

相关推荐