先做对抗测试
发布前尝试绕过评分规则。Puzzle Benchmark 的 400 次取巧尝试均未通过。
申请查看测试记录评测
六项评测分别依据市场结算、留存答案、可执行证明、真实事件或代码库后续变化评分。

评分依据
在智能体未见过的交易日逐笔结算,并与真人策略对照。
Xitadel-QuantBench查看详情机器学习任务由原竞赛平台的留存答案评分,答案不离开平台。
SimReal-MLBench查看详情人工编写的难题使用留存答案判分,减少记忆公开题目的影响。
Puzzle Benchmark查看详情提交能运行的解,或提供无解证明;无法核验就不得分。
MathmoBench查看详情预测在事件发生后结算,并与提前封存的基线比较。
Future Prediction Bench查看详情冻结补丁,放到模拟的后续版本中检验。
SWE-Forward查看详情Xitadel-QuantBench
智能体先研究历史订单簿、交易规则和持仓限制,再编写策略。策略会在未见过的交易日重放,并与同一天表现最好的真人参赛策略比较。13 项任务中,7 项公开,6 项留作测试。
各任务单独换算分数:该任务最佳人类策略记为 80 分;风险调整后的表现达到其两倍时记为 100 分。不同任务的盈亏不直接相加。
高亮行是约 20 行代码的简单做市策略:在买卖两侧各报出比当前最优报价更有利一档的价格,没有经过研究优化。最佳人类策略的表现是它的 9.8 倍。这条简单基线能检验模型的研究到底带来了多少价值。
| 参照策略 | 盈亏 | 最大回撤 | 夏普比率 |
|---|---|---|---|
| CMU Physics | 318,714 | 14,343 | 6.66 |
| Alpha Animals | 257,173 | 14,113 | 6.78 |
| Frankfurt Hedgehogs(修复缺陷后) | 118,516 | 16,561 | 3.03 |
| Frankfurt Hedgehogs(发布版本) | 72,646 | 2,713 | 7.27 |
| 简单做市策略 · 零研究基线 | 32,509 | 5,604 | 2.97 |
| 参照策略 | 盈亏 | 最大回撤 | 夏普比率 |
|---|---|---|---|
| Janert | 1,761,436 | 14,836 | 23.52 |
| Une Baguette Fromage | 696,237 | 11,810 | 12.59 |
| Du Trading | 444,766 | 17,682 | 10.60 |
将风险计入分数. 综合表现先按 max(0, P − 0.1 × D) 计算,再乘以夏普质量系数。修复同一策略中的三个缺陷后,盈亏提高 63%,但夏普减半、回撤增加六倍;只按盈亏排序会得出相反结论。
统一计算口径. 指标采用 reported-net-equity-v1。夏普按 100 个等长时间区间计算,不作年化。每个模型的测试时长保持一致,且每项结果都注明时长:2 小时和 4 小时试点,与 6 小时和 12 小时标准测试对照。
严格隔离测试集. 环境拒绝训练集之外的数据划分,训练中的智能体无法接触正式评分日。未删减报告的承诺哈希会提前公开;测试日退役后再公开完整记录。
任务分层
可供获准使用的团队查看、运行与复现。
正式评分依据,训练过程中不可见。
答案尚未产生,必须等待事件发生。
不再需要保密后,连同记录一起公开。