六项评测已更新:查看评分依据 →

评测详情 · 交易研究

Xitadel-QuantBench

在未见过的交易日检验策略研究,并与当日最佳真人策略对照。

检验什么
未知交易日的交易研究
如何评分
市场结算,并与当日最佳真人策略对照
结果
77.28 / 80 模型最高分
领域
交易研究
适用方向
量化交易研究
获取方式
按需申请

评分依据

市场结算

在智能体未见过的交易日逐笔结算,并与真人策略对照。

智能体先研究历史订单簿、交易规则和持仓限制,再编写策略。策略会在未见过的交易日重放,并与同一天表现最好的真人参赛策略比较。13 项任务中,7 项公开,6 项留作测试。

具体检验

能自我改进的交易策略

  • 智能体研究历史订单簿并编写策略;匹配引擎在未见交易日逐笔结算,结果与同一天的最佳真人策略对照。
  • 与参考匹配引擎比对,奖励计算偏差为 0.000%。
  • 在一次试点中,智能体自行修订策略后,于未见交易日实现 12% 的表现提升。这是试点结果,并不代表所有任务或模型都能达到相同效果。
  • 任务包括做市、篮子交易、期权和转换。
  • 底层交易环境按订单簿快照逐步推进,由匹配引擎计算净权益变化。

Xitadel-QuantBench

模型仍未越过真人基准。

0408077.28模型 A30.12模型 B27.68模型 C24.58模型 D最佳人类参赛者 · 80
七项任务都在同一个未参与训练的交易日测试。图表采用同色显示:每个模型样本量不超过 3,目前只能看出它们尚未超过真人基准,不能据此给模型排名。

各任务单独换算分数:该任务最佳人类策略记为 80 分;风险调整后的表现达到其两倍时记为 100 分。不同任务的盈亏不直接相加。

高亮行是约 20 行代码的简单做市策略:在买卖两侧各报出比当前最优报价更有利一档的价格,没有经过研究优化。最佳人类策略的表现是它的 9.8 倍。这条简单基线能检验模型的研究到底带来了多少价值。

真人基准 · task_07 · 15 种交易标的 · 一个留出交易日
参照策略盈亏最大回撤夏普比率
CMU Physics318,71414,3436.66
Alpha Animals257,17314,1136.78
Frankfurt Hedgehogs(修复缺陷后)118,51616,5613.03
Frankfurt Hedgehogs(发布版本)72,6462,7137.27
简单做市策略 · 零研究基线32,5095,6042.97
真人基准 · task_12 · 10 个家族 × 5 个变体 · 一个留出交易日
参照策略盈亏最大回撤夏普比率
Janert1,761,43614,83623.52
Une Baguette Fromage696,23711,81012.59
Du Trading444,76617,68210.60
Xitadel-QuantBench 如何计分

将风险计入分数. 综合表现先按 max(0, P − 0.1 × D) 计算,再乘以夏普质量系数。修复同一策略中的三个缺陷后,盈亏提高 63%,但夏普减半、回撤增加六倍;只按盈亏排序会得出相反结论。

统一计算口径. 指标采用 reported-net-equity-v1。夏普按 100 个等长时间区间计算,不作年化。每个模型的测试时长保持一致,且每项结果都注明时长:2 小时和 4 小时试点,与 6 小时和 12 小时标准测试对照。

严格隔离测试集. 环境拒绝训练集之外的数据划分,训练中的智能体无法接触正式评分日。未删减报告的承诺哈希会提前公开;测试日退役后再公开完整记录。

用 Xitadel-QuantBench 检验你的模型。