六项评测已更新:查看评分依据 →

SimReal-MLBench · 机器学习研究

检验机器学习研究的全过程。

智能体自己分析数据、设计验证方式、训练与调试模型,并交付预测结果。评分依据来自原竞赛平台留存的测试答案。

60
项研究任务
7 类
数据与研究方向
3 档
任务难度

任务

从数据理解到可靠交付

任务覆盖表格、时间序列预测、视觉、语言、音频、多模态和结构化科学数据。要完成的工作包括特征处理、验证集设计、模型选择、参数调整、集成与故障排查。

  1. 01

    建立研究方案

    理解数据和目标指标,选择验证方法,安排计算资源。

  2. 02

    开展实验

    训练、比较与调试模型,在任务预算内决定下一步实验。

  3. 03

    提交预测

    按原任务格式提交结果,保存版本、耗时和实际资源使用情况。

如何评分

用原平台结果,对照同一场比赛的历史成绩。

答案留在评分端

原竞赛的测试标签不交给研究智能体,正式结果由对应平台或可信控制端确认。

按历史成绩换算

在冻结的同场竞赛榜单上计算超过的参赛成绩比例 p;并列计半份,任务分数为 100 × p²。

成绩与覆盖率一起报告

分别报告各难度档成绩、完成任务数和实际资源。未完成或尚待评测的任务会明确标注。

当前进展

当前开放范围

60 项任务定义、接入工具和计分流程已经准备;完整任务准入与硬件校准仍在推进。目前不展示已完成的 60 项模型总榜。数据获取方式与可评测任务清单,在接入时确认。

适合自动化机器学习、研究型智能体、实验规划和 AI 自主研究团队。