资源库
Reasoning & Math Datasets
面向推理、数学与复杂问题求解的公开数据集。
ARC
Allen Institute for AI
面向科学问答的 AI2 Reasoning Challenge 数据集。
reasoningqabenchmark
Reasoning & Math
CommonsenseQA
Tel Aviv University / Allen AI
基于 ConceptNet 构建的常识问答数据集。
commonsenseqa
Reasoning & Math
DROP
Allen Institute for AI
需要离散推理与数值运算的阅读理解数据集。
reading-comprehensionnumerical-reasoning
Reasoning & Math
GPQA
NYU / Anthropic 等
面向研究生级别科学问题的高难度问答基准。
science-qabenchmark
Reasoning & Math
GSM8K
OpenAI
面向小学数学应用题的语言模型推理基准。
mathreasoningbenchmark
Reasoning & Math
HellaSwag
Allen Institute for AI / UW
测试常识推理与情境补全能力的对抗性基准。
commonsensebenchmark
Reasoning & Math
MATH
UC Berkeley
覆盖竞赛级数学题的语言模型推理评测数据集。
mathreasoningbenchmark
Reasoning & Math
StrategyQA
Allen Institute for AI
需要隐式多跳推理策略才能回答的是非问答数据集。
multi-hopreasoning
Reasoning & Math
WinoGrande
Allen Institute for AI
大规模 Winograd 风格常识推理基准。
commonsensebenchmark
Reasoning & Math