六项评测已更新:查看评分依据 →

Puzzle Benchmark · 推理评测

让推理评测真正检验解题能力。

题目由人编写,答案留存;智能体独立提交结果后,再按答案核验。评分规则经过 400 次取巧尝试检验。

709
道人类编写的难题
0 / 400
次取巧尝试通过
留存答案
精确判分

任务

回答未知难题,也接受严格判分

题目以人工编写的难题为主,评测时隔离答案,检验模型的推理过程与最终结果。

  1. 01

    隔离题目与答案

    评测端保管留存答案,作答端只获得题面与必要材料。

  2. 02

    独立作答并锁定

    提交最终答案后再启动评分,记录任务状态与时间。

  3. 03

    精确判分

    根据题目对应的答案规则核验结果,不由模型裁判决定分数。

如何评分

按答案判分,先检验评分规则。

结果可核验

用留存答案判断作答是否正确。

主动测试取巧路径

针对评分器实施 400 次取巧尝试,均未获得不应得的分数。

分数与过程分开报告

说明题目范围、作答结果和评测条件,避免只看一个总分。

当前进展

开放范围

目前可按研究与评测需求申请使用。题目与答案隔离,具体任务范围和接入方式在沟通时确认。

适合推理模型、数学与谜题求解智能体,以及需要分析能力短板的评测团队。