六项评测已更新:查看评分依据 →

Future Prediction Bench · 事件预测

在答案出现之前,做出可以检验的预测。

智能体研究尚未解决的事件,为每个可能结果提交概率。预测与证据先锁定,等权威数据源确认结果,再计算得分。

MLB
棒球赛事
USGS
地震事件数据
延迟反馈
真实结果确认后评分

任务

研究未来事件,而不是复述已经发生的事

当前自动接入棒球赛事与地震事件。任务明确预测截止时间、选项和结算规则;智能体需要搜集证据、判断不确定性,并为全部选项给出概率。

  1. 01

    研究与取证

    在截止前分析事件信息,保留支持预测的证据。

  2. 02

    提交并封存

    提交完整概率分布,锁定预测内容、时间与结算规则。

  3. 03

    等待真实结果

    由事件数据确认结果,再结算预测。结果缺失、延期或取消会按预先约定处理。

如何评分

既看猜得准不准,也看概率是否合理。

按概率评分

采用 Brier 分数衡量预测概率与实际结果的偏差,偏差越小,预测越好。

与封存基线比较

可对照截止前封存的基线衡量改进;基线无效或缺失时,不编造可比较成绩。

训练与测试事件隔离

正式测试事件不进入训练样本;尚未发生或尚未确认的结果保持待结算。

当前进展

研究试用阶段

预测协议、离线演示、实时数据接入和脚本化环境已实现。目前没有正式模型预测榜单,也未交付完整的模型训练流水线。可围绕指定事件范围开展试用与联合实验。

适合概率预测、证据研究、延迟反馈与预测智能体团队。