最后更新于2024年4月30日,已超过162天没有更新,如果链接或内容资源失效,请下方反馈,我会及时处理,谢谢!

MMBench 🤐吐槽? 分享者: SUYEONE

全方位的多模态大模型能力评测体系

标签:
手机查看预览

MMBench相关网址

广告也精彩

MMBench相关介绍

MMBench是一个多模态基准测试,由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员推出。该体系开发了一个综合评估流程,从感知到认知能力逐级细分评估,覆盖20项细粒度能力,从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测,循环打乱选项验证输出结果的一致性,基于ChatGPT精准匹配模型回复至选项。

MMBench的特点和优势

  1. 基于感知与推理,将评估维度逐级细分。约 3000 道单项选择题,覆盖目标检测、文字识别、动作识别、图像
    理解、关系推理等 20 个细粒度评估维度
  2. 更具鲁棒性的评估方式。相同单选问题循环选项提问,模型输出全部指向同一答案认定为通过,相比传统1次性通过评估 top-1 准确率平均下降 10% ~ 20%。最大程度减少各种噪声因素对评测结果的影响,保证了结果的可复现性。
  3. 更可靠的模型输出提取方法。基于 ChatGPT 匹配模型输出与选项,即使模型未按照指令输出也可准确匹配至最合理选项

 

MMBench网页预览

MMBench打不开?

建议用手机浏览器打开。微信/QQ可能屏蔽了该网站,首先保证网址是从浏览器/手机浏览器打开的,因为微信/QQ会屏蔽一些站。 建议使用不会屏蔽网址的浏览器。如果浏览器提示该网站违规,并非真的违规。而是浏览器厂商屏蔽了这个站。推荐原生态不会屏蔽网站的浏览器,苹果可以用自带的浏览器,Alook浏览器、X浏览器、VIA浏览器、微软Edge等。 通常打不开都是因为网络问题。好的网站会针对三大运营商(电信、移动、联通)进行优化,所以小网站会遇到一些网络打不开。一劳永逸的话,我们推荐使用加速器(将自己的网络切换成更稳定的运营商,比如电信)。部分网站需要科学上网,比如google等(这边不推荐,除非你真的用于学习资料的查询。) 以上三点均能解决99.99%网站打不开的问题了。如有疑问,可在线留言,着急的话也可以通过QQ:550088200可以扫描公众号在线联系我们。

数据评估

MMBench浏览人数已经达到 965,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如: MMBench的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找 MMBench的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于 MMBench 特别声明

本站 SUYE ONE提供的 MMBench都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由 SUYE ONE实际控制,在 2024年4月30日 23:40收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除, SUYE ONE不承担任何责任。

暂无评论

暂无评论...
☺一键登录开启个人书签等功能!