一句话结论
大规模多任务语言理解基准
为什么要收录它?
大规模多任务语言理解基准
它是什么
MMLU(Massive Multitask Language Understanding)是大规模多任务语言理解基准,用来衡量语言模型在多个学科题目上的表现。
核心优势
- 学科覆盖广:从人文到理工的多学科题目,考的是综合知识而非单一任务。
- 标准统一:同一套题横向比模型,结果有可比性。
- 学界通用:论文与榜单普遍引用,判断模型基础能力时有公共坐标。
不足与局限
- 只考知识题:对话体验、长文本、工具调用都不在考察范围。
- 英文语料:直接用它对比中文模型会失真。
不适合谁用
- 要评估中文能力的团队:题目以英文为主,中文结论参考价值有限。
- 要测多模态或工具调用的人:它只考学科知识问答。