目录
GAIA 是什么
现有模型的跑分
首页 科技周边 人工智能 人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

Nov 27, 2023 pm 01:37 PM
ai 设计

GPT-4 自诞生以来一直是位「优等生」,在各种考试(基准)中都能得高分。但现在,它在一份新的测试中只拿到了 15 分,而人类能拿 92。

这套名叫「GAIA」的测试题由来自 Meta-FAIR、Meta-GenAI、HuggingFace 和 AutoGPT 的团队制作,提出了一些需要一系列基本能力才能解决的问题,如推理、多模态处理、网页浏览和一般工具使用能力。这些问题对人类来说非常简单,但对大多数高级 AI 来说却极具挑战性。如果里面的问题都能解决,通关的模型将成为 AI 研究的重要里程碑。

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

GAIA 的设计理念和当前的很多 AI 基准不一样,后者往往倾向于设计一些对人类来说越来越难的任务,这背后其实反映了当前社区对 AGI 理解的差异。GAIA 背后的团队认为,AGI 的出现取决于系统能否在上述「简单」问题上表现出与普通人类似的稳健性。

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

重写内容如下: 图片1:GAIA问题示例。完成这些任务需要大型模型具备一定的推理、多模态或工具使用等基本能力。答案是明确的,并且根据设计,在训练数据的纯文本中是找不到答案的。有些问题附带额外的证据,例如图片,这反映了真实的用例并且允许更好地控制问题

尽管 LLM 能成功完成人类难以完成的任务,但能力最强的 LLM 在 GAIA 上的表现却难以令人满意。即使配备了工具,GPT4 在最简单的任务中成功率也不超过 30%,而在最难的任务中成功率为 0%。与此同时,人类受访者的平均成功率为 92%。

因此,如果一个系统能解决 GAIA 里的问题,我们就能在 t-AGI 系统中去评估它。t-AGI 是 OpenAI 工程师 Richard Ngo 构建的一套细化 AGI 评估系统,其中包括 1-second AGI、1-minute AGI、1-hour AGI 等等,用来考察某个 AI 系统能否在限定时间里完成人类通常花相同时间可以完成的任务。作者表示,在 GAIA 测试中,人类通常需要 6 分钟左右回答最简单的问题,17 分钟左右回答最复杂的问题。

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

作者使用GAIA的方法设计了466个问题及其答案。他们发布了一个开发者集,其中包含166个问题和答案,另外还有300个问题没有附带答案。这个基准以排行榜的形式发布

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

  • 排行榜地址:https://huggingface.co/spaces/gaia-benchmark/leaderboard
  • 论文地址:https://arxiv.org/pdf/2311.12983.pdf
  • HuggingFace 主页地址:https://huggingface.co/papers/2311.12983

GAIA 是什么

GAIA 是如何运作的?研究人员表示,GAIA 用于测试人工智能系统一般助理问题的基准。GAIA 试图规避之前大量 LLM 评估所存在的缺陷。这个基准由人类设计和注释的 466 个问题组成。这些问题基于文本,有些还附带文件(如图像或电子表格)。它们涵盖了各种辅助性质的任务,包括日常个人任务、科学和常识等

这些问题有一个简短、单一且易于验证的正确答案

想要使用 GAIA,只需向人工智能助手零样本提出问题并附上相关的依据(如果有的话)。要在 GAIA 上获得完美的得分,需要具备一系列不同的基本能力。该项目的制作者在其补充材料中提供了各种问题和元数据

GAIA 的产生既源于升级人工智能基准的需要,也源于目前广泛观察到的 LLM 评估的缺点。

设计GAIA的首要原则是针对概念上简单的问题。尽管这些问题对人类来说可能很乏味,但它们在现实世界中千变万化,对当前的人工智能系统来说是具有挑战性的。这使得我们可以专注于基本能力,比如通过推理快速适应、多模态理解和潜在的多样化工具使用,而不是专业技能方面

这些问题通常包括查找和转换从不同来源(例如提供的文档或开放且不断变化的网络)收集的信息,以产生准确的答案。要回答图 1 的示例问题,LLM 通常应该浏览网络查找研究,然后寻找正确的注册位置。这与此前基准体系的趋势相反,以前的基准对人类来说越来越困难,和 / 或在纯文本或人工环境中操作。

GAIA的第二个原则是可解释性。相比于海量问题,我们精心策划了有限数量的问题,使得新的基准更易于使用。这个任务的概念很简单(人类成功率为92%),使用户很容易理解模型的推理过程。对于图1中的一级问题,推理过程主要包括检查正确的网站,并报告正确的数字,这个过程很容易进行验证

GAIA 的第三个原则是对记忆的鲁棒性:GAIA 的目标是比大多数当前基准测试的猜题可能性更低。为了完成一项任务,系统必须计划好并成功完成一些步骤。因为根据设计,当前预训练数据中没有以纯文本形式生成结果答案。准确性的进步反映了系统的实际进步。由于它们的多样性和行动空间的大小,这些任务不能在不作弊的情况下被暴力破解,例如通过记住基本事实。尽管数据污染可能导致额外的正确率,但答案所需的准确性、答案在预训练数据中的缺失以及检查推理轨迹的可能性减轻了这种风险。

相反,多项选择答案使污染评估变得困难,因为错误的推理痕迹仍然可以得出正确的选择。如果尽管采取了这些缓解措施,还是发生了灾难性记忆问题,那么使用作者在论文中提供的指南很容易设计新问题。

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

图 2.:为了回答 GAIA 中的问题,GPT4(配置了代码解释器)等 AI 助手需要完成几个步骤,可能需要使用工具或读取文件。

GAIA 的最后一个原则是易用性。其中的任务是简单的提示,可能会附带一个附加文件。最重要的是,问题的答案是事实、简洁且明确的。这些属性允许简单、快速和真实的评估。问题旨在测试 zero-shot 能力,限制评估设置的影响。相反,许多 LLM 基准要求对实验设置敏感的评估,例如提示的数量和性质或基准实现。

现有模型的跑分

GAIA 的设计使得大模型智能水平的评估自动化、快速且真实。实际上,除非另有说明,每个问题都需要一个答案,该答案可以是字符串(一个或几个单词)、数字或逗号分隔的字符串或浮点数列表,但只有一个正确答案。因此,评估是通过模型的答案和基本事实之间的准精确匹配来完成的(直到与基本事实的「类型」相关的某种归一化)。系统(或前缀)提示用于告知模型所需的格式,请参见图 2。

事实上,级别为GPT4的模型很容易符合GAIA的格式。GAIA已经提供了评分和排名功能

目前只测试了大模型领域的「标杆」,OpenAI 的 GPT 系列,可见不管哪个版本分数都很低,Level 3 的得分还经常是零分。

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

使用 GAIA 评估 LLM 只需要能够提示模型,即有 API 访问权限即可。在 GPT4 测试中,最高分数是人类手动选择插件的结果。值得注意的是,AutoGPT 能够自动进行此选择。

只要 API 可以使用,测试时就会运行该模型三次并报告平均结果

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

图4:不同方法及级别的得分和回答时间

总体而言,人类在问答中的各个层面都表现出色,但目前最好的大模型显然表现不佳。作者认为,GAIA 可以对有能力的 AI 助手进行清晰的排名,同时在未来几个月甚至几年内留下很大的改进空间。

从回答花费的时间上来看,GPT-4这类大型模型具有潜在能力可以替代现有的搜索引擎

没有插件的 GPT4 结果与其他结果之间的差异表明,通过工具 API 或访问网络来增强 LLM 可以提高答案的准确性,并解锁许多新的用例,这证实了该研究方向的巨大潜力。

AutoGPT-4允许GPT-4自动使用工具,但与没有插件的GPT-4相比,Level 2甚至Level 1的结果都令人失望。这种差异可能来自于AutoGPT-4依赖GPT-4 API(提示和生成参数)的方式,并且在不久的将来需要进行新的评估。与其他LLM相比,AutoGPT-4也很慢。总体而言,人类和带有插件的GPT-4之间的协作似乎是「性能」最好的

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

图 5 展示了按照功能分类的模型所获得的分数。显然,仅仅使用 GPT-4 是无法处理文件和多模态的,但它能够解决注释者使用网页浏览的问题,主要是因为它能够正确地记忆需要组合的信息片段以获得答案

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

图 3 左:解决 GAIA 中问题需要使用的能力的数量。右:每个点对应一个 GAIA 问题。在给定位置,点的大小与问题数量成正比,并且仅显示问题数量最多的级别。这两个数字都是基于人类注释者在回答问题时报告的信息,人工智能系统的处理方式可能会有所不同。

在 GAIA 上获得完美得分需要 AI 具备先进的推理、多模态理解、编码能力和一般工具使用能力,例如网页浏览。AI 还包括需要处理各种数据模态,例如 PDF、 电子表格,图像、视频或音频。

尽管网页浏览是 GAIA 的关键组成部分,但我们不需要 AI 助手在网站上执行除「点击」之外的操作,例如上传文件、发表评论或预订会议。在真实环境中测试这些功能,同时避免制造垃圾信息需要谨慎,这个方向会留在未来的工作中。

题目难度逐渐加大:根据解决问题所需的步骤和回答问题所需的不同工具数量,该题可分为三个难度逐渐加大的等级。这些步骤或工具没有一个单一的定义,可能有多种路径可用于回答给定的问题


  • Level 1 问题一般不需要工具,或者最多一个工具但不超过 5 个步骤。
  • Level 2 问题通常涉及更多步骤,大约在 5-10 步之间,并且需要结合不同的工具。
  • Level 3 是针对近乎完美的通用助理的问题,要求采取任意长的行动序列,使用任意数量的工具,并能够接触到真实世界。

GAIA 针对现实世界的 AI 助理设计问题,设计中的问题还包括面向残障人士的任务,如在小音频文件中查找信息。最后,该基准尽最大努力涵盖各种主题领域和文化,尽管数据集的语言仅限于英语。

请参阅原始论文以获得更多详细信息

以上是人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Vue.js 中字符串转对象用什么方法? Vue.js 中字符串转对象用什么方法? Apr 07, 2025 pm 09:39 PM

Vue.js 中字符串转对象时,首选 JSON.parse() 适用于标准 JSON 字符串。对于非标准 JSON 字符串,可根据格式采用正则表达式和 reduce 方法或解码 URL 编码字符串后再处理。根据字符串格式选择合适的方法,并注意安全性与编码问题,以避免 bug。

mysql安装后怎么使用 mysql安装后怎么使用 Apr 08, 2025 am 11:48 AM

文章介绍了MySQL数据库的上手操作。首先,需安装MySQL客户端,如MySQLWorkbench或命令行客户端。1.使用mysql-uroot-p命令连接服务器,并使用root账户密码登录;2.使用CREATEDATABASE创建数据库,USE选择数据库;3.使用CREATETABLE创建表,定义字段及数据类型;4.使用INSERTINTO插入数据,SELECT查询数据,UPDATE更新数据,DELETE删除数据。熟练掌握这些步骤,并学习处理常见问题和优化数据库性能,才能高效使用MySQL。

mysql 无法启动怎么解决 mysql 无法启动怎么解决 Apr 08, 2025 pm 02:21 PM

MySQL启动失败的原因有多种,可以通过检查错误日志进行诊断。常见原因包括端口冲突(检查端口占用情况并修改配置)、权限问题(检查服务运行用户权限)、配置文件错误(检查参数设置)、数据目录损坏(恢复数据或重建表空间)、InnoDB表空间问题(检查ibdata1文件)、插件加载失败(检查错误日志)。解决问题时应根据错误日志进行分析,找到问题的根源,并养成定期备份数据的习惯,以预防和解决问题。

Laravel的地理空间:互动图和大量数据的优化 Laravel的地理空间:互动图和大量数据的优化 Apr 08, 2025 pm 12:24 PM

利用地理空间技术高效处理700万条记录并创建交互式地图本文探讨如何使用Laravel和MySQL高效处理超过700万条记录,并将其转换为可交互的地图可视化。初始挑战项目需求:利用MySQL数据库中700万条记录,提取有价值的见解。许多人首先考虑编程语言,却忽略了数据库本身:它能否满足需求?是否需要数据迁移或结构调整?MySQL能否承受如此大的数据负载?初步分析:需要确定关键过滤器和属性。经过分析,发现仅少数属性与解决方案相关。我们验证了过滤器的可行性,并设置了一些限制来优化搜索。地图搜索基于城

如何设置Vue Axios的超时时间 如何设置Vue Axios的超时时间 Apr 07, 2025 pm 10:03 PM

为了设置 Vue Axios 的超时时间,我们可以创建 Axios 实例并指定超时选项:在全局设置中:Vue.prototype.$axios = axios.create({ timeout: 5000 });在单个请求中:this.$axios.get('/api/users', { timeout: 10000 })。

mysql安装后怎么优化数据库性能 mysql安装后怎么优化数据库性能 Apr 08, 2025 am 11:36 AM

MySQL性能优化需从安装配置、索引及查询优化、监控与调优三个方面入手。1.安装后需根据服务器配置调整my.cnf文件,例如innodb_buffer_pool_size参数,并关闭query_cache_size;2.创建合适的索引,避免索引过多,并优化查询语句,例如使用EXPLAIN命令分析执行计划;3.利用MySQL自带监控工具(SHOWPROCESSLIST,SHOWSTATUS)监控数据库运行状况,定期备份和整理数据库。通过这些步骤,持续优化,才能提升MySQL数据库性能。

Vue.js 如何将字符串类型的数组转换为对象数组? Vue.js 如何将字符串类型的数组转换为对象数组? Apr 07, 2025 pm 09:36 PM

总结:将 Vue.js 字符串数组转换为对象数组有以下方法:基本方法:使用 map 函数,适合格式规整的数据。高级玩法:使用正则表达式,可处理复杂格式,但需谨慎编写,考虑性能。性能优化:考虑大数据量,可使用异步操作或高效数据处理库。最佳实践:清晰的代码风格,使用有意义的变量名、注释,保持代码简洁。

偏远的高级后端工程师(平台)需要圈子 偏远的高级后端工程师(平台)需要圈子 Apr 08, 2025 pm 12:27 PM

远程高级后端工程师职位空缺公司:Circle地点:远程办公职位类型:全职薪资:$130,000-$140,000美元职位描述参与Circle移动应用和公共API相关功能的研究和开发,涵盖整个软件开发生命周期。主要职责独立完成基于RubyonRails的开发工作,并与React/Redux/Relay前端团队协作。为Web应用构建核心功能和改进,并在整个功能设计过程中与设计师和领导层紧密合作。推动积极的开发流程,并确定迭代速度的优先级。要求6年以上复杂Web应用后端

See all articles