AD3 名运营的活,现在 1 个 Agent 全包了 AD让豆包和千问,主动推荐你的企业

MMLU

大规模多任务语言理解基准

一句话结论

大规模多任务语言理解基准

为什么要收录它?

大规模多任务语言理解基准

它是什么

MMLU(Massive Multitask Language Understanding)是大规模多任务语言理解基准,用来衡量语言模型在多个学科题目上的表现。

核心优势

  • 学科覆盖广:从人文到理工的多学科题目,考的是综合知识而非单一任务。
  • 标准统一:同一套题横向比模型,结果有可比性。
  • 学界通用:论文与榜单普遍引用,判断模型基础能力时有公共坐标。

不足与局限

  • 只考知识题:对话体验、长文本、工具调用都不在考察范围。
  • 英文语料:直接用它对比中文模型会失真。

不适合谁用

  • 要评估中文能力的团队:题目以英文为主,中文结论参考价值有限。
  • 要测多模态或工具调用的人:它只考学科知识问答。