AI 模型评测
用统一标准比较模型能力,选型前先看数据。
这一类的选择结论
看榜单要分清「跑分」和「你的任务」。LMArena 反映真实用户偏好,适合判断综合体验;MMLU、HumanEval 这类基准适合比较特定能力,但存在刷分与数据污染。中文场景建议直接看 SuperCLUE 与 C-Eval,且必须用你自己的业务样本再测一轮——榜单第一不等于你的任务第一。
AI 模型评测
14 个工具-
MagicArena
字节推出的视觉生成模型对战平台
-
MMLU
大规模多任务语言理解基准
-
Open LLM Leaderboard
Hugging Face推出的开源大模型排行榜单
-
FlagEval
智源研究院推出的FlagEval(天秤)大模型评测平台
-
SuperCLUE
中文通用大模型综合性测评基准
-
AGI-Eval
AI大模型评测社区
-
OpenCompass
上海人工智能实验室推出的大模型开放评测体系
-
CMMLU
一个综合性的大模型中文评估基准
-
MMBench
全方位的多模态大模型能力评测体系
-
HELM
斯坦福大学推出的大模型评测体系
-
LMArena
AI模型评估平台
-
LLMEval3
由复旦大学NLP实验室推出的大模型评测基准
-
H2O EvalGPT
H2O.ai推出的基于Elo评级方法的大模型评估系统
-
PubMedQA
生物医学研究问答数据集和模型得分排行榜
怎么选
不要只看总分,按你的任务找对应子项(代码、数学、中文理解)。
注意评测时间,模型迭代很快,半年前的排名参考价值有限。
最终决策一定要用自有数据做 A/B,榜单只是筛选候选。