BIG-Bench Hard
BIG-Bench Hard (BBH): 23 challenging BIG-Bench tasks
由 23 个 BIG-Bench 任务(6,511 个样例)组成的套件,2022 年的语言模型在这些任务上得分低于人类评分者平均水平:多步算术、逻辑推演、追踪被打乱的物体、因果判断、日期理解等。得分为各任务精确匹配准确率的平均值,通常采用 3-shot 并附带思维链示例。它证明了 CoT 提示能带来涌现式提升,并成为标准推理检验;前沿模型如今在多数任务上已超过最佳人类评分者。
- 发布
- 2022-10
- 维护者
- Google Research / Stanford (Suzgun et al.)
- 状态
- saturated
- 污染风险
- high
- 指标
- accuracy (percent, ↑)
- 题量
- 6,511
- 领域
- reasoning
- 人类
- 67.7% average BIG-Bench human rater (max rater: 94.4%)
备注. Answer-only vs CoT prompting changes scores by 10-20 points; the Open LLM Leaderboard v2 reported a 3-shot answer-only variant, so numbers across harnesses are not comparable.
完整账本
| 系统 | 开发者 | 分数 | 日期 | 来源 | 条件 |
|---|---|---|---|---|---|
| DeepSeek-V4-Pro-Base | DeepSeek | 87.5% | 厂商自报 | shots: 3 DeepSeek-V4 model card, base-model table (HF repo created 2026-04-22). Base model, exact match, 3-shot; V4-Flash-Base 86.9, V3.2-Base 87.6. | |
| Codex (code-davinci-002), CoT | OpenAI (evaluated by Suzgun et al.) | 73.9% | 论文 | shots: 3 Table 2 of the BBH paper, all 23 tasks with chain-of-thought prompting (answer-only 56.6; PaLM 540B CoT 65.2; average human rater 67.7, max 94.4). |