结果可核验
用留存答案判断作答是否正确。
Puzzle Benchmark · 推理评测
题目由人编写,答案留存;智能体独立提交结果后,再按答案核验。评分规则经过 400 次取巧尝试检验。
任务
题目以人工编写的难题为主,评测时隔离答案,检验模型的推理过程与最终结果。
评测端保管留存答案,作答端只获得题面与必要材料。
提交最终答案后再启动评分,记录任务状态与时间。
根据题目对应的答案规则核验结果,不由模型裁判决定分数。
如何评分
用留存答案判断作答是否正确。
针对评分器实施 400 次取巧尝试,均未获得不应得的分数。
说明题目范围、作答结果和评测条件,避免只看一个总分。
当前进展
目前可按研究与评测需求申请使用。题目与答案隔离,具体任务范围和接入方式在沟通时确认。
适合推理模型、数学与谜题求解智能体,以及需要分析能力短板的评测团队。
继续了解