[控场AI]
· 7 分钟阅读· 3,839 字

前沿AI模型首次在盈利预测上超越人类专家

前沿AI模型首次在盈利预测上超越人类专家

前沿AI模型首次在盈利意外预测上超越偏差校正后的人类分析师共识基准。

Samaya研究团队构建了一个金融专用预测框架,在时点门控、时间感知检索和专家引导指令的约束下,让七个前沿模型在财报发布前一周预测456家公司的营收、毛利率、营业利润和调整后EPS。结果显示,模型能力与预测误差呈清晰的反向关系:较早的模型已能超越原始分析共识,而GPT-6 Astra、Claude Fable 5.1和Opus 5.5才能超越经过偏差校正的更强基准。研究进一步量化了数据时效性、专家引导和共识信息的作用,发现实时数据是准确性的最重要变量,而GPT-6 Astra在移除共识信息后表现几乎不变,暗示其能重建市场共识。

财务预测一直被视为知识工作的顶点。全球股票市场总市值超过150万亿美元,上万家公司每季度发布的营收、毛利率、营业利润和调整后EPS,驱动着数以万亿计的投资决策。长期以来,准确预测这些数字依赖资深分析师的多年经验,而AI能否在这一领域达到超人类水平,一直是个悬而未决的问题。

Samaya研究团队的一项新研究给出了明确答案:前沿AI模型配合专业金融预测框架,首次在盈利意外(earnings surprise)预测上超越了人类专家。

rss source

什么是盈利意外,为什么它难以预测

在每次财报发布前,覆盖该公司的多位分析师会各自发布对下一季度关键指标的预测,这些预测的中位数被称为市场一致预期(consensus estimate)。当公司实际公布的数字高于一致预期时称为"超预期"(beat),低于则称为"不及预期"(miss),两者之间的差距就是盈利意外。

市场对盈利意外的反应往往非常剧烈。正因为预测盈利极其困难——即使是最优秀的分析师共识也经常偏离实际——盈利意外成为评估AI金融预测能力的理想测试场景。它不仅提供了明确的标准答案(实际公布值)和强大的人类基准(分析师共识),还通过管理层披露的业绩驱动因素,让研究者能够检验模型推理过程是否正确。

一致预期(consensus estimate) 是卖方分析师群体的预测中位数。每家券商的分析师基于各自的财务模型、行业调研和公司沟通,给出对下季度营收、EPS等指标的独立预测,数据商(如Refinitiv、FactSet)将这些预测汇总取中位数作为市场基准。这一机制意味着共识天然带有"乐观偏差的修正"——分析师为维护与公司的关系往往给出略高于自身真实判断的预测,同时管理层也会在财报前引导市场下调预期,导致实际值系统性高于共识。理解这一偏差结构,是评估任何预测系统(无论人类还是AI)真实能力的前提,也是为什么简单的"超越共识"并不足以证明能力超群。

构建测试环境:让AI与分析师面对同样的信息

Samaya团队搭建了一个金融专用的预测框架(harness),核心设计思路是:让AI模型在完全相同的条件下与人类分析师竞争。

每个预测任务被定义为一个实例:在财报发布前一周,模型需要基于截至该时点的所有公开信息,预测一家公司的四项核心指标——营收、毛利率、营业利润和调整后EPS。

框架的关键技术组件包括:

  • 时点门控(point-in-time gate):在框架层面通过认证令牌强制执行信息截止,防止模型访问未来数据,从根本上杜绝"作弊"
  • 时间感知检索:改造后的检索栈严格遵守时间截止点,所有结构化数据工具同样受此限制
  • 替代网络访问:由于难以对开放网络施加时间门控,团队移除了网络访问权限,替换为截止点前的重要新闻源
  • 专家引导指令:优化上下文效率,并加入专家引导的推理指令以提升预测质量

测试覆盖了456家公司,涵盖所有行业板块,市值均超过50亿美元,且至少有8家券商提供预测。这些公司均在所有模型知识截止日期之后发布财报,确保模型无法依赖参数记忆。

研究测试了七个前沿模型,包括GPT-6 Astra、Claude Fable 5.1、Claude Opus 5.5、GPT-5.6 Sol、Claude Sonnet 5、Gemini 3.8 Flash和Kimi K3。

时点门控(point-in-time gate) 是量化回测与金融AI评估中的核心基础设施概念。在真实投资决策中,任何时点的可用信息严格受限于"当时已经公开"这一约束;若模型在回测时能访问未来的财报数据或价格变动,会产生严重的前视偏差(look-ahead bias),使结果虚高且不可复现。Samaya通过在框架层面用认证令牌强制隔离未来数据,并在检索栈中嵌入时间过滤,本质上是在复刻专业量化研究中的"as-of"语义。这种设计的意义在于:它把"模型是否作弊"从难以审计的模型内部行为,转化为框架层面可验证的工程约束,是这类评测可信度的关键所在。

核心发现:能力越强,预测越准

研究团队设置了三个评估指标:预测误差衡量预测值偏离实际值的程度,意外相关性衡量模型预测的意外与实际意外是否相关,命中率衡量预测和实际是否落在共识的同一侧。所有指标均按每家公司的历史意外波动率进行标准化处理。

为了建立更难的人类基准,团队还构造了偏差校正共识——在原始共识基础上加上每家公司历史上的中位数意外。这是因为分析师系统性地在财报前压低预期,导致实际值高于共识的情况本身就偏多,单纯超越原始共识可能只是"取巧"。

结果显示出一条清晰的趋势线:模型能力越强,预测误差越小,意外相关性越高。 Claude Sonnet 5和Kimi K3等较早的模型已经能超越原始共识,但只有最新的三个模型——Fable 5.1、Opus 5.5和GPT-6 Astra——才能超越经过偏差校正的更强基准。

GPT-6 Astra在多数指标上表现最佳,包括营收预测误差、整体预测误差和命中率;Fable 5.1和Opus 5.5则在意外相关性上领先。

在命中率方面,最佳AI模型的表现在超预期方向和历史多数基准接近,但在不及预期(below-consensus)的预测上实现了显著提升——这恰恰是市场最难以预判的部分。

偏差校正共识(bias-corrected consensus) 是比原始共识更难超越的基准。由于分析师系统性下调预期,实际公布值高于原始共识的情况本身就偏多,因此一个总是预测"超预期"的模型可以在原始共识对比下取得不错的命中率,却并未真正预测出盈利意外的方向。偏差校正的做法,是在原始共识上加上每家公司历史盈利意外的中位数,得到一个"预期已经包含历史偏差"的调整基准。这样处理后,模型必须在原始共识之上进一步判断本次意外的特异方向才算真正超越,避免了靠统计规律"搭便车"的取巧行为。这一基准设计是评估金融预测能力时的方法论关键。

AI的推理过程:像优秀分析师一样思考

研究团队分析了Claude Fable 5.1和GPT-6 Astra的推理轨迹,发现模型能够像资深分析师那样计算世界事件和新闻对财务的影响。一个关键观察是:模型主动收集新证据并愿意偏离共识的意愿,是它们超越共识的核心驱动力。

在消融研究中,数据获取的重要性被进一步量化:

  • 不使用任何数据、仅靠参数记忆时,即使最好的模型也表现不佳
  • 提供季度初期的数据后,表现提升约25个百分点
  • 但距离使用最新数据仍有12-16个百分点的差距,这一差距大致相当于普通模型与前沿模型之间的性能差异

专家引导同样效果显著:加入专家引导指令后,模型的搜索时间与上下文使用量增加约1.6至2.7倍,预测误差随之降低。

另一个有趣的发现来自"拿走共识"实验:当移除所有结构化估计数据和包含共识信息的文本后,较弱模型的性能大幅下降,但GPT-6 Astra的表现几乎不变——它可能从公开信息中重建了共识。

消融研究(ablation study) 是机器学习中用于识别系统各组件贡献的标准实验方法,通过逐一移除或替换某个模块,观察整体性能变化,从而量化该模块的必要性。Samaya在此处的消融设计针对两类变量:数据获取(从完全无数据、仅有季度初期数据、到最新实时数据)和专家引导指令(有/无)。这种实验的价值在于,它把"AI能否预测"的模糊问题分解为"什么因素在多大程度上影响预测质量"的可度量问题,并揭示出数据时效性对结果的影响量级(12-16个百分点)与模型代际差异相当,说明在金融预测中,信息基础设施的重要性可能不亚于模型本身的参数规模。

不同指标的难度差异

模型在营收和毛利率上的相对表现优于营业利润和调整后EPS。团队提出两种解释:营业利润和EPS是前两项指标的下游结果,误差可能累积;同时这两项属于调整后数字,不同公司的非经常性项目处理惯例各异,增加了预测难度。

研究还考察了模型输出的随机性。对100家公司各运行五次后发现,虽然单次运行之间存在差异,但多次运行取平均并未带来显著改善。

这对金融行业意味着什么

这项研究传递出的信号值得从业者认真对待。不是"AI能帮分析师做更多",而是"AI在核心预测任务上已经开始与分析师并行,甚至超越"。

Samaya团队表示,盈利预测的alpha版本已在产品中可供用户和客户使用,同时正在探索将预测适配到客户内部数据以生成机构特定洞察。研究方向还包括:深入理解模型的推理机制、判断模型是否能可靠识别真正的业绩驱动因素,以及通过强化学习后训练让模型从过去的预测错误中持续学习。

一个值得关注的细节是:这项研究依赖的预测框架(harness)本身是核心变量之一。同一模型在不同框架下的表现可能有巨大差异——这意味着金融AI的竞争,不仅是模型能力的竞争,也是数据基础设施和领域知识工程的竞争。


注:本文数据均来自Samaya研究团队发布的实验结果。模型名称以原文为准。

#AI盈利预测#前沿AI模型#金融AI#盈利意外预测#Samaya#AI超越人类专家#financial AI#earnings prediction
分享:

相关推荐