六项评测已更新:查看评分依据 →

评测

让每个分数都有据可查。

六项评测分别依据市场结算、留存答案、可执行证明、真实事件或代码库后续变化评分。

身穿橙色外套的人走在细绳上,平衡书本、杯子和砝码。
6
项独立评测
0
项由 AI 裁判给出最终分数
0 / 400
次取巧尝试通过
77.28
Xitadel 模型最高分;真人基准为 80

Xitadel-QuantBench

模型仍未越过真人基准。

智能体先研究历史订单簿、交易规则和持仓限制,再编写策略。策略会在未见过的交易日重放,并与同一天表现最好的真人参赛策略比较。13 项任务中,7 项公开,6 项留作测试。

0408077.28模型 A30.12模型 B27.68模型 C24.58模型 D最佳人类参赛者 · 80
七项任务都在同一个未参与训练的交易日测试。图表采用同色显示:每个模型样本量不超过 3,目前只能看出它们尚未超过真人基准,不能据此给模型排名。

各任务单独换算分数:该任务最佳人类策略记为 80 分;风险调整后的表现达到其两倍时记为 100 分。不同任务的盈亏不直接相加。

高亮行是约 20 行代码的简单做市策略:在买卖两侧各报出比当前最优报价更有利一档的价格,没有经过研究优化。最佳人类策略的表现是它的 9.8 倍。这条简单基线能检验模型的研究到底带来了多少价值。

真人基准 · task_07 · 15 种交易标的 · 一个留出交易日
参照策略盈亏最大回撤夏普比率
CMU Physics318,71414,3436.66
Alpha Animals257,17314,1136.78
Frankfurt Hedgehogs(修复缺陷后)118,51616,5613.03
Frankfurt Hedgehogs(发布版本)72,6462,7137.27
简单做市策略 · 零研究基线32,5095,6042.97
真人基准 · task_12 · 10 个家族 × 5 个变体 · 一个留出交易日
参照策略盈亏最大回撤夏普比率
Janert1,761,43614,83623.52
Une Baguette Fromage696,23711,81012.59
Du Trading444,76617,68210.60
Xitadel-QuantBench 如何计分

将风险计入分数. 综合表现先按 max(0, P − 0.1 × D) 计算,再乘以夏普质量系数。修复同一策略中的三个缺陷后,盈亏提高 63%,但夏普减半、回撤增加六倍;只按盈亏排序会得出相反结论。

统一计算口径. 指标采用 reported-net-equity-v1。夏普按 100 个等长时间区间计算,不作年化。每个模型的测试时长保持一致,且每项结果都注明时长:2 小时和 4 小时试点,与 6 小时和 12 小时标准测试对照。

严格隔离测试集. 环境拒绝训练集之外的数据划分,训练中的智能体无法接触正式评分日。未删减报告的承诺哈希会提前公开;测试日退役后再公开完整记录。

如何保证结果可信

评分器本身也需要接受检验。

02

先封存,再披露

Xitadel-QuantBench 报告在成绩发布前提交哈希承诺,测试日退役后再公开完整记录。

申请查看承诺文件
03

如实呈现试点结果

现阶段能确认的是:试点中的模型没有越过真人基准。更多重复实验才能支持更广泛的结论。

任务分层

把练习、正式检验与未来事件分开。

公开任务

可供获准使用的团队查看、运行与复现。

留存任务

正式评分依据,训练过程中不可见。

实时任务

答案尚未产生,必须等待事件发生。

退役任务

不再需要保密后,连同记录一起公开。

把你的模型放到未见过的任务里检验。