目录
马斯克Grok仅次于GPT-4,开源Llemma成绩出色
首页 科技周边 人工智能 一招分辨刷榜作弊大模型,博士小哥开源AI数学'照妖镜”

一招分辨刷榜作弊大模型,博士小哥开源AI数学'照妖镜”

Nov 17, 2023 pm 12:38 PM
ai 数据

如今很多大模型都声称擅长数学,谁有真才实学?谁是靠背测试题“作弊”的?

今年,有人在匈牙利全国数学期末考试刚刚公布的题目上进行了一次全面测试

很多模型一下子就“现原形”了。

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

先看绿色部分,这些大模型在经典数学测试集GSM8k和全新卷子上取得的成绩差不多,共同组成参照标准

再看红色部分,在GSM8K上的成绩显着高于同参数规模的大模型,一到全新卷子上成绩却明显下降,与同规模大模型差不多了。

研究者把他们归类为“疑似或已知在GSM8k上训练过”

有人看过这项测试后表示,应该开始对那些从未见过的题目进行评测了

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

有些人认为,这种测试和每个人对大型模型实际使用的经验,是目前唯一可靠的评估方法

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

马斯克Grok仅次于GPT-4,开源Llemma成绩出色

测试者Keiran Paster是多伦多大学博士生、谷歌学生研究者,也是测试中Lemma大模型的作者之一。

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

让大模型考匈牙利全国高中数学期末考试,这招出自马斯克的xAI

为了排除xAI的Grok大模型无意中在网络数据中见过测试题的问题,除了几个常见的测试集,还额外进行了这项测试

这个考试今年5月底才考完,当前大模型基本没机会见过这套试题。

xAI发布时还公布了的GPT-3.5、GPT-4、Claude 2的成绩作为比较。

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

在这组数据的基础上,Paster进行了进一步的测试,测试的对象是多个生成数学能力强的开源模型

并把测试题目、测试脚本、各模型回答结果都开源在了Huggingface上,供大家检验以及进一步测试其他模型。

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

结果来看,GPT-4和Claude-2组成第一梯队,在GSM8k和新卷子上成绩都很高。

虽然这不代表GPT-4和Claude 2的训练数据中完全没有GSM8k的泄露题,但至少它俩泛化能力不错、能做对新题,就不计较了。

接下来,马斯克xAI的Grok-0(33B)和Grok-1(未公布参数规模)表现都不错。

Grok-1是“未作弊组”里成绩最高的,新卷子成绩甚至高过Claude 2。

Grok-0在GSM8k上的表现接近GPT3.5-Turbo,新卷子上略差一些。

除了上述几个封闭模型外,测试中的其他模型都是开源的

Code Llama系列是Meta自己在Llama 2基础上微调的,主打根据自然语言生成代码,现在看来数学能力比同规模的模型稍差

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

在Code Llama的基础上,多所大学和研究机构共同推出Llemma系列,并由EleutherAI开源。

团队从科学论文、包含数学的网络数据和数学代码中收集了Proof-Pile-2数据集,训练后的Llemma能使用工具和做形式定理证明,无需任何进一步的微调。

在新的卷子上,Llemma 34B的表现接近于GPT-3.5 Turbo水平

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

Mistral系列则是法国AI独角兽Mistral AI训练的,Apache2.0开源协议比Llama更宽松,成为羊驼家族之后最受开源社区欢迎的基础模型。

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

“过拟合组”里的OpenChat 3.5MetaMath Mistral都是基于Mistral生态微调而来。

MetaMathMAmmoTH Code则是基于Code Llama生态。

选择在实际业务中采用开源大模型的人需要小心避开这一组,因为它们很可能只是为了刷榜而表现出色,但实际能力可能不如同规模的其他模型强

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

不少网友都对Paster这项试验表示感谢,认为这正是了解模型实际情况所需要的。

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

有些人表达了担忧:

从这一天起,所有训练大模型的人都会加入匈牙利历年数学考试题。

同时他认为,解决办法可能是有一家拥有专有测试的专门大模型评估公司

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

另一项提议是建立一个逐年更新的测试基准,来缓和过度拟合问题。

一招分辨刷榜作弊大模型,博士小哥开源AI数学照妖镜”

以上是一招分辨刷榜作弊大模型,博士小哥开源AI数学'照妖镜”的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

web3交易平台排行榜_web3全球交易所前十名汇总 web3交易平台排行榜_web3全球交易所前十名汇总 Apr 21, 2025 am 10:45 AM

币安是全球数字资产交易生态的霸主,其特点包括:1. 日均交易量突破$1500亿,支持500 交易对,覆盖98%主流币种;2. 创新矩阵涵盖衍生品市场、Web3布局和教育体系;3. 技术优势为毫秒级撮合引擎,峰值处理量达140万笔/秒;4. 合规进展持有15国牌照,并在欧美设立合规实体。

WorldCoin(WLD)价格预测2025-2031:到2031年WLD会达到4美元吗? WorldCoin(WLD)价格预测2025-2031:到2031年WLD会达到4美元吗? Apr 21, 2025 pm 02:42 PM

WorldCoin(WLD)凭借其独特的生物识别验证和隐私保护机制,在加密货币市场中脱颖而出,吸引了众多投资者的目光。 WLD凭借其创新技术,特别是结合OpenAI人工智能技术,在众多山寨币中表现突出。但未来几年,数字资产的走势如何呢?让我们一起预测WLD的未来价格。 2025年WLD价格预测预计2025年WLD将实现显着增长。市场分析显示,WLD平均价格可能达到1.31美元,最高可能触及1.36美元。然而,在熊市情况下,价格可能跌至0.55美元左右。这一增长预期主要源于WorldCoin2.

币圈杠杆交易所排名 币圈十大杠杆交易所APP最新推荐 币圈杠杆交易所排名 币圈十大杠杆交易所APP最新推荐 Apr 21, 2025 pm 11:24 PM

2025年在杠杆交易、安全性和用户体验方面表现突出的平台有:1. OKX,适合高频交易者,提供最高100倍杠杆;2. Binance,适用于全球多币种交易者,提供125倍高杠杆;3. Gate.io,适合衍生品专业玩家,提供100倍杠杆;4. Bitget,适用于新手及社交化交易者,提供最高100倍杠杆;5. Kraken,适合稳健型投资者,提供5倍杠杆;6. Bybit,适用于山寨币探索者,提供20倍杠杆;7. KuCoin,适合低成本交易者,提供10倍杠杆;8. Bitfinex,适合资深玩

跨链交易什么意思?跨链交易所有哪些? 跨链交易什么意思?跨链交易所有哪些? Apr 21, 2025 pm 11:39 PM

支持跨链交易的交易所有:1. Binance,2. Uniswap,3. SushiSwap,4. Curve Finance,5. Thorchain,6. 1inch Exchange,7. DLN Trade,这些平台通过各种技术支持多链资产交易。

虚拟币价格上涨或者下降是为什么 虚拟币价格上涨或者下降的原因 虚拟币价格上涨或者下降是为什么 虚拟币价格上涨或者下降的原因 Apr 21, 2025 am 08:57 AM

虚拟币价格上涨因素包括:1.市场需求增加,2.供应量减少,3.利好消息刺激,4.市场情绪乐观,5.宏观经济环境;下降因素包括:1.市场需求减少,2.供应量增加,3.利空消息打击,4.市场情绪悲观,5.宏观经济环境。

十大加密货币交易所平台 世界最大的数字货币交易所榜单 十大加密货币交易所平台 世界最大的数字货币交易所榜单 Apr 21, 2025 pm 07:15 PM

在当今的加密货币市场中,交易所扮演着至关重要的角色,它们不仅是投资者进行买卖交易的平台,更是市场流动性和价格发现的重要来源。全球最大的虚拟货币交易所排行前十,这些交易所不仅在交易量上遥遥领先,而且在用户体验、安全性和创新服务方面也各有千秋。排行榜首的交易所通常拥有庞大的用户基础和广泛的市场影响力,它们的交易量和资产种类往往是其他交易所难以企及的。

币圈交易所前十的平台是哪些? 币圈交易所前十的平台是哪些? Apr 21, 2025 pm 12:21 PM

头部交易所包括:1. 币安(Binance),全球最大交易量,支持600 币种,现货手续费0.1%;2. OKX,均衡型平台,支持708交易对,永续合约手续费0.05%;3. Gate.io,覆盖2700 小币种,现货手续费0.1%-0.3%;4. Coinbase,美国合规标杆,现货手续费0.5%;5. Kraken,安全性顶尖,定期储备审计。

如何在币安拿下 KERNEL 空投奖励 全流程攻略 如何在币安拿下 KERNEL 空投奖励 全流程攻略 Apr 21, 2025 pm 01:03 PM

在加密货币的繁华世界里,新机遇总是不断涌现。当下,KernelDAO (KERNEL) 空投活动正备受瞩目,吸引着众多投资者的目光。那么,这个项目究竟是什么来头?BNB Holder 又能从中获得怎样的好处?别急,下面将为你一一揭晓。

See all articles