评测详情 · 机器学习研究
SimReal-MLBench
让智能体完成机器学习研究,成绩由原竞赛平台保存的答案判定。
- 检验什么
- 横跨七类数据的机器学习研究
- 如何评分
- 竞赛平台保管的留存答案
- 结果
- 60 项任务
- 领域
- 机器学习研究
- 适用方向
- 自动化机器学习研究
- 获取方式
- 按需申请
评分依据
原竞赛平台
机器学习任务由原竞赛平台的留存答案评分,答案不离开平台。
这些题由原竞赛平台评分,不由我们自己判卷。60 场真实机器学习竞赛覆盖七种数据模态;测试标签留在平台,成绩与历史真人参赛队伍比较。得分为 100 × p²,其中 p 为超过的历史队伍比例。
具体检验
真实竞赛任务
- 收录 60 场历史竞赛,覆盖表格、视觉、语言、音频、多模态、预测和科学数据七类任务。
- 答案留在原竞赛平台,提交结果由平台保存的留存答案评分。
- 适合评估从数据理解、建模到提交结果的完整研究能力。
参与设计的专家
领域专家帮助定义任务要求与有效结果。