AD3 名运营的活,现在 1 个 Agent 全包了 AD让豆包和千问,主动推荐你的企业

LLMEval3

由复旦大学NLP实验室推出的大模型评测基准

一句话结论

由复旦大学NLP实验室推出的大模型评测基准

为什么要收录它?

由复旦大学NLP实验室推出的大模型评测基准

它是什么

LLMEval3 是复旦大学 NLP 实验室推出的大模型评测基准。LLMEval 项目系列的目标是为大语言模型建立全面、公平、稳健的评测框架。

核心优势

  • 学术出品:复旦 NLP 实验室维护,评测设计有方法支撑。
  • 追求公平稳健:项目目标是建立全面、公平、可复现的评测框架。
  • 系列延续:LLMEval 多代积累,题目和口径相对稳定。

不足与局限

  • 需自备环境:拿到数据集还得自己跑推理才有分数。
  • 覆盖任务有限:以中文基础能力为主,专业领域样本少。

不适合谁用

  • 要现成榜单分数的人:以数据集与框架为主,没有在线排名可直接引用。
  • 要英文模型结论的团队:定位在中文评测。