答案留在评分端
原竞赛的测试标签不交给研究智能体,正式结果由对应平台或可信控制端确认。
SimReal-MLBench · 机器学习研究
智能体自己分析数据、设计验证方式、训练与调试模型,并交付预测结果。评分依据来自原竞赛平台留存的测试答案。
任务
任务覆盖表格、时间序列预测、视觉、语言、音频、多模态和结构化科学数据。要完成的工作包括特征处理、验证集设计、模型选择、参数调整、集成与故障排查。
理解数据和目标指标,选择验证方法,安排计算资源。
训练、比较与调试模型,在任务预算内决定下一步实验。
按原任务格式提交结果,保存版本、耗时和实际资源使用情况。
如何评分
原竞赛的测试标签不交给研究智能体,正式结果由对应平台或可信控制端确认。
在冻结的同场竞赛榜单上计算超过的参赛成绩比例 p;并列计半份,任务分数为 100 × p²。
分别报告各难度档成绩、完成任务数和实际资源。未完成或尚待评测的任务会明确标注。
当前进展
60 项任务定义、接入工具和计分流程已经准备;完整任务准入与硬件校准仍在推进。目前不展示已完成的 60 项模型总榜。数据获取方式与可评测任务清单,在接入时确认。
适合自动化机器学习、研究型智能体、实验规划和 AI 自主研究团队。
继续了解