实测12个AI模型预测市场，无一跑赢大盘

当AI遇见预测市场：一场没有赢家的实验

预测市场一直被视为检验集体智慧的试金石。从选举结果到体育赛事，市场价格往往比任何单一专家的判断都更准确。那么，如果让当前最先进的12个AI模型来参与这场游戏，它们能击败市场吗？

一位Reddit用户（据帖子标注为原创内容）做了一次系统性回测：将12个AI模型放到历史预测市场的数据上，让它们对已经发生的事件做出判断，再与当时的市场价格对比。结论非常直接——没有任何一个模型能够稳定跑赢市场。

这个结果并不令人意外，但证据本身值得认真对待。它揭示了一个被AI热潮掩盖的事实：在信息聚合效率极高的领域，大语言模型的优势并没有想象中那么大。

实验设计：用历史数据做“开卷考试”

根据原帖描述，实验的核心思路是让模型面对已经结算的预测市场问题，每个问题在市场上都有明确的价格（通常以概率形式呈现）。模型需要给出自己的概率估计，然后研究者将模型的判断与市场价格进行对比，评估谁更接近最终结果。

这里有一个关键设计：模型面对的是历史事件，理论上它们可能已经“见过”这些事件的答案。即便如此，12个模型整体上仍未展现出超越市场的预测能力。这一点尤为值得玩味——如果连开卷考试都赢不了市场，闭卷场景下的表现只会更弱。

实验中涉及的模型覆盖了不同厂商和规模，但原帖并未逐一披露具体名单和分数细节。可以确认的是，样本量为12个模型，评估对象为历史预测市场，胜负标准是相对于市场价格的预测准确性。

为什么市场如此难以击败

预测市场的价格本质上是参与者用真金白银投票的结果。它汇集了分散的信息、不同的判断和持续更新的预期。一个有效市场的价格，已经压缩了大量私有信息。

AI模型的问题在于，它们的判断依赖于训练数据中的统计模式。当面对需要整合最新信息、处理小众事件或识别市场错误定价的任务时，模型往往缺乏独立的信息来源。它们更像是在复述“共识”，而不是发现“偏差”。

另一个角度是校准。市场价格的校准通常经过大量交易者的反复修正，而模型的概率输出容易出现过度自信或保守的倾向。即使模型在某些单项上判断正确，整体校准误差也会拖累最终表现。

预测市场（Prediction Market） 是一种让参与者用真实资金交易事件结果合约的市场机制。合约价格直接反映市场对该事件发生概率的集体估计，例如价格0.7意味着市场认为事件有70%的概率发生。其核心优势在于：价格由分散的信息和判断通过交易不断聚合而成，任何新信息都会迅速被套利者纳入价格。因此，预测市场常被视为“集体智慧”的体现，其校准性往往优于专家判断或民调。文章所指的“市场价格”正是这种连续交易形成的概率估计，它代表了大量参与者用资金投票的结果。

校准（Calibration） 是评估概率预测质量的关键指标，指预测概率与实际发生频率之间的匹配程度。一个校准良好的模型，当其给出70%的概率时，该类事件的实际发生频率应接近70%。市场价格的校准通常通过大量交易者的反复修正而趋于准确，因为错误定价会带来亏损并被套利纠正。相比之下，大语言模型的概率输出往往存在系统性偏差，例如过度自信（给出极端概率但实际准确率不足）或保守（概率趋近50%）。即使模型在单个事件上判断正确，整体校准误差也会显著拖累其相对于市场的表现。

这对AI应用意味着什么

这个实验给AI从业者和产品经理提了个醒：不要把大语言模型当作预测机器。在金融、选举、体育等高度市场化的预测场景中，模型更适合扮演辅助角色——比如整理信息、生成情景分析、识别被忽略的变量——而不是直接给出“最终答案”。

对于想要构建预测类AI产品的团队，这个结果意味着需要重新设计价值主张。如果产品的核心卖点是“比市场更准”，那么大概率会失败。更可行的方向是提供市场之外的增量信息，或者帮助用户理解市场为什么定价如此。

局限与未解的问题

原帖的实验存在一些未充分披露的细节：提示词设计、模型温度设置、是否允许多轮推理、如何处理市场流动性不足的问题等。这些因素都会影响结果。另外，12个模型的整体结论不等于每个模型都表现平庸——可能存在个别模型在特定类别上接近或达到市场水平，只是整体平均被拉低。

还有一个值得追问的问题：如果让模型专门针对市场错误定价进行微调，结果会不会不同？目前没有答案，但这恰恰是后续研究可以切入的方向。

结论：市场依然是最强的“模型”

12个AI模型，零胜绩。这个结果与其说是对AI的否定，不如说是对市场机制的再次确认。预测市场在聚合信息和校准概率方面的效率，仍然超出了当前通用AI模型的能力边界。

对AI研究者而言，这是一个清晰的基准线：想证明模型有预测能力，先跑赢市场再说。对普通用户而言，看到“AI预测”类产品时，多一分怀疑是合理的。