按概率评分
采用 Brier 分数衡量预测概率与实际结果的偏差,偏差越小,预测越好。
Future Prediction Bench · 事件预测
智能体研究尚未解决的事件,为每个可能结果提交概率。预测与证据先锁定,等权威数据源确认结果,再计算得分。
任务
当前自动接入棒球赛事与地震事件。任务明确预测截止时间、选项和结算规则;智能体需要搜集证据、判断不确定性,并为全部选项给出概率。
在截止前分析事件信息,保留支持预测的证据。
提交完整概率分布,锁定预测内容、时间与结算规则。
由事件数据确认结果,再结算预测。结果缺失、延期或取消会按预先约定处理。
如何评分
采用 Brier 分数衡量预测概率与实际结果的偏差,偏差越小,预测越好。
可对照截止前封存的基线衡量改进;基线无效或缺失时,不编造可比较成绩。
正式测试事件不进入训练样本;尚未发生或尚未确认的结果保持待结算。
当前进展
预测协议、离线演示、实时数据接入和脚本化环境已实现。目前没有正式模型预测榜单,也未交付完整的模型训练流水线。可围绕指定事件范围开展试用与联合实验。
适合概率预测、证据研究、延迟反馈与预测智能体团队。
继续了解