一句话结论
H2O.ai推出的基于Elo评级方法的大模型评估系统
为什么要收录它?
H2O.ai推出的基于Elo评级方法的大模型评估系统
它是什么
H2O EvalGPT 是 H2O.ai 推出的、基于 Elo 评级方法的大模型评估系统。相关产品线现在叫 h2oGPTe,主打带引用的对话与 Agentic RAG、文档 AI,可接任意来源的模型并做成本控制。
核心优势
- Elo 打分:用对战评级衡量模型,比单一分数更能反映相对水平。
- 回答带引用:产品线支持带引用的问答,结论可回溯。
- 模型可混用:能接不同来源的模型,并做成本控制。
不足与局限
- 重心已转移:公司主推 h2oGPTe 平台,评测不再是主线。
- Elo 依赖样本:对战次数不足时分数不稳定。
不适合谁用
- 要长期维护的公开榜:产品线已转向 h2oGPTe,评测页更新不勤。
- 要看中文模型的团队:样本与场景以英文为主。