六项评测已更新:查看评分依据 →

产品与评测

让智能体在真实任务中学习。

交易研究、机器学习、推理、优化、预测与软件开发,使用同一套可复现的任务与评分机制。其中四个方向提供现成环境;其余评测可按需求申请。

一道橙色笔触穿过深蓝与米白的几何形体。
4
现成环境方向
6
独立评测
60
MLBench 竞赛任务
+12%
Xitadel 未见交易日试点提升

市场与研究

让研究结论接受真实结果检验。

01交易研究重点产品

Xitadel

让智能体写策略,也让未见过的市场检验策略。

  • 智能体研究历史订单簿并编写策略;匹配引擎在未见交易日逐笔结算,结果与同一天的最佳真人策略对照。
  • 与参考匹配引擎比对,奖励计算偏差为 0.000%。
  • 在一次试点中,智能体自行修订策略后,于未见交易日实现 12% 的表现提升。这是试点结果,并不代表所有任务或模型都能达到相同效果。

适用方向量化交易研究

+12%未见交易日试点中的策略提升

02机器学习研究

SimReal-MLBench

检验智能体能否独立完成机器学习研究。

  • 收录 60 场历史竞赛,覆盖表格、视觉、语言、音频、多模态、预测和科学数据七类任务。
  • 答案留在原竞赛平台,提交结果由平台保存的留存答案评分。
  • 适合评估从数据理解、建模到提交结果的完整研究能力。

适用方向自动化机器学习研究

60场真实机器学习竞赛

推理与预测

从可判定的答案,走向仍在发生的未来。

03推理能力

Puzzle Benchmark

709 道人工编写的难题,让取巧无处藏身。

  • 题目由人编写,答案留存,重点检验解题能力,而非对公开题库的记忆。
  • 通过精确答案评分;针对评分机制进行的 400 次取巧尝试均未通过。

适用方向前沿模型推理评测

0 / 400次取巧尝试通过

04优化求解

MathmoBench

给出能执行的方案,或证明问题无解。

  • 覆盖匹配、排程、装箱与分配等运筹任务;只有可核验的结果才得分。
  • 评分耗时可达毫秒级,题目可以持续生成。
  • 让模型对实际运营中的约束负责。

适用方向运筹优化与规划

毫秒级单题评分

05事件预测

Future Prediction Bench

预测提交之后,让事件本身给出答案。

  • 智能体预测实时事件;事件发生后再评分,并与提前封存的基线比较。
  • 接入棒球与地震事件数据。未来事件的结果无法预先背诵。

适用方向预测研究

实时事件数据持续进入评测

06软件开发

SWE-Forward

代码修复能否在下一个版本继续成立?

  • 冻结智能体提交的补丁,再模拟代码库后续变化;只解决眼前测试的修复不会一直得分。
  • 任务须能区分已知有效和无效的修复,才会纳入评测。

适用方向AI 编程工具

后续版本仍需通过验证

三种合作方式

01 · 训练环境

在任务中反复练习

提供可重置的环境,由业务规则结算每一步行动与最终结果。接入和授权范围按任务商定。

02 · 过程与结果数据

留下可复核的工作记录

记录决定、失误、修正和经过验证的结果,帮助团队看清能力从何而来。

03 · 持续验证

让每个新版本接受同一把尺

模型更新后重新运行任务和留存评测,尽早发现能力退步与新的取巧方式。

共同底座

任务不同,验证原则一致。

各方向共用状态、动作、奖励和回放接口;具体领域则使用自己的事实来源和评分规则。

  1. 01Xitadel交易研究
  2. 02SimReal-MLBench机器学习研究
  3. 03Puzzle Benchmark推理能力
  4. 04MathmoBench优化求解
  5. 05Future Prediction Bench事件预测
  6. 06SWE-Forward软件开发
衍真 SimReal · 可复用的任务与验证底座
  • 让结果自己说话

    交易结算、留存答案、数学证明、真实事件和后续版本测试,各自提供可核验的评分依据。

  • 发布前先找漏洞

    主动用取巧策略攻击评分器,保留发现与修复记录。

  • 报告可追溯

    保留任务版本、运行过程与结果证据,便于合作方复核。

  • 分开训练与评测

    公开、留存、实时和退役任务各有用途,避免把练过的题误当成能力提升。

发展方向

从现有任务,扩展到更多真实工作。

  1. 现在

    4个现成环境方向

    交易、机器学习、推理和事件预测可按具体需求申请。

  2. 接下来

    更多行业任务

    围绕软件开发、运筹优化和企业流程持续完善评测。

  3. 长期

    各行业可验证的工作

    让智能体在承担真实风险之前,先有机会练习并接受检验。

想验证智能体的真实能力?
从一个具体任务开始。