一句话结论
一个综合性的大模型中文评估基准
为什么要收录它?
一个综合性的大模型中文评估基准
它是什么
CMMLU是综合性的中文评估基准,专门用在评估语言模型在中文语境下的知识和推理能力,涵盖从基础学科到高级专业水平的67个主题。包括需要计算和推理的自然科学,需要知识的人文科学和社会科学,及需要生活常识的中国驾驶规则等。CMMLU中的许多任务具有中国特定的答案,可能在其他地区或语言中并不普遍适用。CMMLU提供丰富的测试数据和排行榜,支持多种评估方式,如five-shot和zero-shot测试,是衡量中文语言模型性能的重要工具。
主要功能与特点
- 排行榜:展示不同语言模型在five-shot和zero-shot测试下的表现,帮助比较模型性能。
- 数据集:提供开发和测试数据,支持快速使用和评估。
- 预处理代码:提供提示生成方法,方便模型训练和测试。
- 评估工具:支持多种评估方式,便于研究者和开发者测试模型能力。
核心优势
- 专为中文设计:67 个主题覆盖从基础学科到专业领域。
- 考的是知识加推理:不只有记忆题,还有需要计算和推理的题目。
- 含本土常识:中国驾驶规则这类题目,能测出对中文环境的适应度。
- 数据与代码都开放:可复现,也能自己扩展。
不足与局限
- 只考中文知识:67 个主题以学科题为主,口语化与指令跟随测不出。
- 需自备环境:想拿分数得自己跑推理,门槛偏高。
应用场景
- 语言模型性能评估:用在测试和比较语言模型在中文多任务场景下的知识和推理能力,帮助优化模型架构。
- 教育领域的智能辅导:开发智能辅导系统,为学生提供多学科的练习和学习建议,提升学习效果。
- 智能客服优化:评估模型在特定领域的知识理解能力,优化智能客服系统,提高客户服务质量。
- 文化知识传播:用CMMLU的数据集开发文化问答系统,传播中国文化知识,促进文化传承。
不适合谁用
- 要测对话与多轮能力的人:它是知识题基准,不评交互体验。
- 不打算自己跑模型的人:没有现成在线分数,要自己接模型评。