Quant-Arena：LLM量化交易研究基准，九大前沿模型仍跑不赢等权市场

量化研究的闭环，LLM 能走完吗？

量化研究不是一个写公式的比赛，而是一个完整的迭代闭环：研究员提出市场假设，把它实现为可执行的信号，在历史数据上回测，再决定哪些策略值得留下。现有基准大多只考察其中一环——公式是否正确、代码能否运行、或者单笔交易决策是否合理。但一个更关键的问题始终悬而未决：大语言模型能否独立走完这个闭环，并产出在研究期之外依然有效的策略？

Quant-Arena 正是为回答这个问题而设计的。据其论文介绍，这是一个面向真实 A 股数据的端到端量化研究基准，同时配有公开排行榜。它的评测逻辑并不复杂，但足够残酷：模型需要自己构造特征、编写股票打分代码，只能获得 2022–2023 年的反馈，然后冻结一个策略，接受 2024 年“密封年”的最终考核。

评测设计：反馈有限，考核密封

Quant-Arena 的核心约束在于信息隔离。模型在开发阶段只能看到 2022–2023 年的数据反馈，策略一旦冻结，就要在完全不可见的 2024 年数据上接受评估。这种设计直接针对量化研究中最常见的失败模式——过拟合。研究期内表现优异的策略，往往在样本外迅速失效，而密封年机制把这一点变成了硬性考验。

评估器本身也贴近真实交易。据论文描述，系统采用现金账户模型，施加交易约束和成本，其中包括基于模拟订单簿估算的市场冲击。这意味着策略不能靠理想化的成交假设取胜，滑点和容量限制都会被计入。评分以已实现的超额收益为主导，同时辅以信号质量和策略所用特征的多样性作为补充维度。

样本外检验与过拟合

量化研究中，过拟合指策略过度拟合历史数据的噪声，而非真实的市场规律。常见的检测方法是将数据划分为样本内（用于开发）和样本外（用于验证）两部分。Quant-Arena 的“密封年”设计是样本外检验的严格版本：模型在开发阶段只能接触 2022–2023 年的数据，最终策略在 2024 年数据上一次性评估，且无法根据 2024 年结果进行调整。这种设计模拟了策略上线后面对未知未来的真实场景，能有效暴露那些仅靠数据窥探（data snooping）获得的虚假信号。

市场冲击与订单簿模拟

市场冲击指交易行为本身对价格产生的影响：大额买单会推高价格，大额卖单会压低价格。在回测中忽略市场冲击会导致策略容量被高估，实盘表现远逊于回测。Quant-Arena 通过模拟订单簿来估算冲击成本：订单簿记录了不同价位的买卖挂单量，模拟器根据策略下单量相对于挂单深度的比例，估算成交价格的滑点。这使得评估更贴近真实交易环境，尤其对高换手率或大资金策略形成约束。

九个前沿模型，无人跑赢等权市场

论文评估了九个前沿模型，其中 GPT-6 Astra 得分最高。但结论并不乐观：没有任何一个模型在 2024 年的密封测试中跑赢等权市场基准。这个结果值得细看。等权市场是一个极其朴素、几乎不需要研究能力的基准，而九个前沿模型在获得完整开发反馈的情况下，仍未能超越它。

这并不意味着模型毫无研究能力。评分中包含信号质量与特征多样性，说明部分模型确实构造出了结构合理的信号，只是这些信号在样本外没有转化为可实现的超额收益。换句话说，模型可能学会了“看起来像量化研究”的形式，却没有掌握真正能穿越周期的市场洞察。

等权市场基准

等权市场基准指将资金平均分配到指数中所有成分股，并定期再平衡的策略。它不需要任何选股能力，仅获取市场平均收益（beta），因此常被视为“被动投资”的底线。在量化研究中，等权基准用于区分策略的超额收益（alpha）与市场整体涨跌。若一个主动策略在扣除交易成本后无法跑赢等权基准，说明其选股信号没有创造额外价值。Quant-Arena 以等权市场作为对比，直接检验模型是否具备超越朴素配置的研究能力。

这个基准为什么重要

量化交易一直是 LLM 能力评估的试金石之一。金融数据噪声高、信噪比低、非平稳性强，任何过拟合都会在样本外被无情放大。Quant-Arena 把评估重点从“代码写得对不对”转移到“策略能不能用”，这更接近实际研究工作的价值判断。

同时，它采用公开排行榜和开放提交的形式，任何模型或 agent harness 都可以参与。这种开放性有助于形成可比较的社区基线，避免各家自说自话地宣称模型具备量化能力。对于一个容易被营销话术包围的领域，一个带密封测试集的公共基准显得尤为重要。

局限与待解问题

目前 Quant-Arena 聚焦 A 股市场，结论能否迁移到其他市场仍需验证。单一密封年（2024）虽然能检验过拟合，但一年的市场环境也带有偶然性，不同风格的策略可能因市场状态而表现迥异。此外，评分以超额收益为主导，可能引导参与者过度追求收益而忽视风险调整后的表现，尽管信号质量和特征多样性在一定程度上做了平衡。

最核心的问题仍然开放：模型需要什么样的能力，才能真正完成从假设到可部署策略的闭环？Quant-Arena 给出了一个清晰的否定性起点——至少目前，前沿模型还没有做到。

风险调整后收益

超额收益是策略收益减去基准收益的差值，但高收益可能伴随高风险。风险调整后收益通过波动率、最大回撤或夏普比率等指标，衡量单位风险所获得的回报。例如，夏普比率 =（策略收益 - 无风险利率）/ 策略收益波动率。仅看超额收益可能激励模型承担过度风险，而风险调整后收益能更全面地评价策略质量。Quant-Arena 目前以超额收益为主导，未来引入风险调整指标可更贴近实际资金管理需求。