首页 > 科技周边 > 人工智能 > GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三

WBOY
发布: 2024-03-08 15:07:27
转载
449 人浏览过

Claude 3的竞技场排名终于来了:

短短3天内,20000张投票,将榜单的流量推向空前。

最终,Claude 3最强的“大杯”模型Opus得分1233,成为第一个能和GPT-4-Turbo一较高下的选手。

“中杯”Sonnet也还不错,和GPT-4的两个旧版本不相上下。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

不过总的来说,还是GPT-4系列占据上风。

Claude 3的表现和宣传有些许出入。如网友总结:

GPT-4还是大模型之王!

但,免费的“中杯”Claude 3(Sonnet)更物超所值。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

大模型竞技场出炉,“新王”排第三

Claude 3发布时官方的宣传是全面超过了GPT-4,但没提是哪个版本的GPT-4。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

竞技场榜单(LMSYS Chatbot Arena Leaderboard)的最新更新,帮咱摸清了。

来看详细情况。

排在第一名的是OpenAI去年11月推出的GPT-4 Turbo,也就是:

GPT-4-1106-preview。

它功能更强价格也更便宜,具有128k上下文,训练数据从此前的2021年9月更新到2023年4月。

与它并列第一的是GPT-4 Turbo最新的版本,今年一月发布的:

GPT-4-0125-preview。

它的训练数据更广,扩展到了2023年12月。

两者均取得了1251的分数。

接着才是Claude 3(训练数据截止到2023年8月)。

它的最强版本Opus得分1233,比GPT-4 Turbo低了18分。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

这个差距相比起来不算太大,毕竟再往下看:

它比GPT-4的两个版本(0314、0613)分别高了48分、72分。

至于中等性能的Claude 3 Sonnet,则排名第6,位于GPT-4这两个版本之间:

不过只比0314版低5分,大有潜力一举超越。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

所以总的来说,官方宣传的也算没大毛病,全面超越老版GPT-4,但离GPT-4 Turbo还有点距离,尽管不算太大。

——从此榜单的评比机制等情况来看,它的结果还是相当有业内认可度的。

它由“小羊驼”(Vicuna)的作者团队发起。

但裁判官不是“小羊驼”,更不是GPT-4,而是基于人类偏好。

详细来说,也就我们随机向两个匿名模型提出任意问题,然后评价它们各自的回答,把票投给更好的那一个。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

如果一轮投不出,咱可以选择继续提问。如果聊天中模型不小心透露了自己的身份,投票则作废。

特别的,计分规则采用Elo机制来保证公平(玩王者荣耀的朋友都熟)。

举个例子:如果某个模型输了,但它的分数不一定低,因为它本身实力就弱,这是预料之中。

截止目前,这个榜单可以说是非常火爆,已经有全球73个模型参与挑战,共收到了网友们37万张+投票。

通义千问挤进前10

除了Claude 3,我们再看看其他表现亮眼的选手。

首先要提的就是基于Gemini Pro的Bard,排名第四,仅次于GPT-4Turbo和Claude 3。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

可以说是有点让人惊喜。

网友戏谑:

谷歌这是生生在在排行榜上开了个“洞”啊。

并连忙艾特JeffDean和DeepMind负责人:喂,加把劲儿啊(旺柴)

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

然后要说的就是阿里通义千问(1.5版本,上个月发布)。

它在本次排名中挤进了前十、并列第九,是国内选手中表现最好的。

GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三图片

被它甩在身后的,除了其他国产选手,还有Claude 2、Gemini Pro和GPT-3.5等等。

完整榜单:https://www.php.cn/link/e39505ef839c38f61139ae78da3f7615
参考链接:https://www.php.cn/link/30637ce29549ac951061fd211d43c3b0

以上是GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三的详细内容。更多信息请关注PHP中文网其他相关文章!

相关标签:
来源:51cto.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板