评测详情 · 交易研究
Xitadel-QuantBench
在未见过的交易日检验策略研究,并与当日最佳真人策略对照。
- 检验什么
- 未知交易日的交易研究
- 如何评分
- 市场结算,并与当日最佳真人策略对照
- 结果
- 77.28 / 80 模型最高分
- 领域
- 交易研究
- 适用方向
- 量化交易研究
- 获取方式
- 按需申请
评分依据
市场结算
在智能体未见过的交易日逐笔结算,并与真人策略对照。
智能体先研究历史订单簿、交易规则和持仓限制,再编写策略。策略会在未见过的交易日重放,并与同一天表现最好的真人参赛策略比较。13 项任务中,7 项公开,6 项留作测试。
具体检验
能自我改进的交易策略
- 智能体研究历史订单簿并编写策略;匹配引擎在未见交易日逐笔结算,结果与同一天的最佳真人策略对照。
- 与参考匹配引擎比对,奖励计算偏差为 0.000%。
- 在一次试点中,智能体自行修订策略后,于未见交易日实现 12% 的表现提升。这是试点结果,并不代表所有任务或模型都能达到相同效果。
- 任务包括做市、篮子交易、期权和转换。
- 底层交易环境按订单簿快照逐步推进,由匹配引擎计算净权益变化。
Xitadel-QuantBench
模型仍未越过真人基准。
各任务单独换算分数:该任务最佳人类策略记为 80 分;风险调整后的表现达到其两倍时记为 100 分。不同任务的盈亏不直接相加。
高亮行是约 20 行代码的简单做市策略:在买卖两侧各报出比当前最优报价更有利一档的价格,没有经过研究优化。最佳人类策略的表现是它的 9.8 倍。这条简单基线能检验模型的研究到底带来了多少价值。
真人基准 · task_07 · 15 种交易标的 · 一个留出交易日
| 参照策略 | 盈亏 | 最大回撤 | 夏普比率 |
|---|---|---|---|
| CMU Physics | 318,714 | 14,343 | 6.66 |
| Alpha Animals | 257,173 | 14,113 | 6.78 |
| Frankfurt Hedgehogs(修复缺陷后) | 118,516 | 16,561 | 3.03 |
| Frankfurt Hedgehogs(发布版本) | 72,646 | 2,713 | 7.27 |
| 简单做市策略 · 零研究基线 | 32,509 | 5,604 | 2.97 |
真人基准 · task_12 · 10 个家族 × 5 个变体 · 一个留出交易日
| 参照策略 | 盈亏 | 最大回撤 | 夏普比率 |
|---|---|---|---|
| Janert | 1,761,436 | 14,836 | 23.52 |
| Une Baguette Fromage | 696,237 | 11,810 | 12.59 |
| Du Trading | 444,766 | 17,682 | 10.60 |
Xitadel-QuantBench 如何计分
将风险计入分数. 综合表现先按 max(0, P − 0.1 × D) 计算,再乘以夏普质量系数。修复同一策略中的三个缺陷后,盈亏提高 63%,但夏普减半、回撤增加六倍;只按盈亏排序会得出相反结论。
统一计算口径. 指标采用 reported-net-equity-v1。夏普按 100 个等长时间区间计算,不作年化。每个模型的测试时长保持一致,且每项结果都注明时长:2 小时和 4 小时试点,与 6 小时和 12 小时标准测试对照。
严格隔离测试集. 环境拒绝训练集之外的数据划分,训练中的智能体无法接触正式评分日。未删减报告的承诺哈希会提前公开;测试日退役后再公开完整记录。