Open LLM Leaderboard相关网址
Open LLM Leaderboard相关介绍
Open LLM Leaderboard 是最大的大模型和数据集社区 HuggingFace 推出的开源大模型排行榜单，基于 Eleuther AI Language Model Evaluation Harness（Eleuther AI语言模型评估框架）封装。
由于社区在发布了大量的大型语言模型（LLM）和聊天机器人之后，往往伴随着对其性能的夸大宣传，很难过滤出开源社区取得的真正进展以及目前的最先进模型。因此，Hugging Face 使用 Eleuther AI语言模型评估框架对模型进行四个关键基准测试评估。这是一个统一的框架，用于在大量不同的评估任务上测试生成式语言模型。
Open LLM Leaderboard 的评估基准
- AI2 推理挑战（25-shot）：一组小学科学问题
- HellaSwag（10-shot）：一个测试常识推理的任务，对人类来说很容易（大约95%），但对SOTA模型来说具有挑战性。
- MMLU（5-shot）- 用于测量文本模型的多任务准确性。测试涵盖57个任务，包括基本数学、美国历史、计算机科学、法律等等。
- TruthfulQA（0-shot）- 用于测量模型复制在在线常见虚假信息中的倾向性。
Open LLM Leaderboard网页预览
Open LLM Leaderboard打不开？
建议用手机浏览器打开。微信/QQ可能屏蔽了该网站，首先保证网址是从浏览器/手机浏览器打开的，因为微信/QQ会屏蔽一些站。 建议使用不会屏蔽网址的浏览器。如果浏览器提示该网站违规，并非真的违规。而是浏览器厂商屏蔽了这个站。推荐原生态不会屏蔽网站的浏览器，苹果可以用自带的浏览器，Alook浏览器、X浏览器、VIA浏览器、微软Edge等。 通常打不开都是因为网络问题。好的网站会针对三大运营商(电信、移动、联通)进行优化，所以小网站会遇到一些网络打不开。一劳永逸的话，我们推荐使用加速器（将自己的网络切换成更稳定的运营商，比如电信）。部分网站需要科学上网，比如google等（这边不推荐，除非你真的用于学习资料的查询。） 以上三点均能解决99.99%网站打不开的问题了。如有疑问，可在线留言，着急的话也可以通过QQ：550088200可以扫描公众号在线联系我们。
数据评估
本站 SUYE ONE提供的 Open LLM Leaderboard都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由 SUYE ONE实际控制，在 2024年4月30日 23:40收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除， SUYE ONE不承担任何责任。
