一句话结论
由复旦大学NLP实验室推出的大模型评测基准
为什么要收录它?
由复旦大学NLP实验室推出的大模型评测基准
它是什么
LLMEval3 是复旦大学 NLP 实验室推出的大模型评测基准。LLMEval 项目系列的目标是为大语言模型建立全面、公平、稳健的评测框架。
核心优势
- 学术出品:复旦 NLP 实验室维护,评测设计有方法支撑。
- 追求公平稳健:项目目标是建立全面、公平、可复现的评测框架。
- 系列延续:LLMEval 多代积累,题目和口径相对稳定。
不足与局限
- 需自备环境:拿到数据集还得自己跑推理才有分数。
- 覆盖任务有限:以中文基础能力为主,专业领域样本少。
不适合谁用
- 要现成榜单分数的人:以数据集与框架为主,没有在线排名可直接引用。
- 要英文模型结论的团队:定位在中文评测。