评测详情 · 推理能力
Puzzle Benchmark
用 709 道人工编写的难题检验推理能力,按留存答案精确判分。
- 检验什么
- 709 道人工编写的高难度题目
- 如何评分
- 留存答案精确判分
- 结果
- 0 / 400 次取巧尝试通过
- 领域
- 推理能力
- 适用方向
- 前沿模型推理评测
- 获取方式
- 按需申请
评分依据
精确答案
人工编写的难题使用留存答案判分,减少记忆公开题目的影响。
具体检验
经对抗测试的难题
- 题目由人编写,答案留存,重点检验解题能力,而非对公开题库的记忆。
- 通过精确答案评分;针对评分机制进行的 400 次取巧尝试均未通过。
- 奖励为二值结果,可在本地快速计算;无需使用模型裁判。