GPT-4在图形推理方面表现不佳？即使'放水”后，准确率仅为33%

GPT-4的图形推理能力，竟然连人类的一半都不到？

美国圣塔菲研究所的一项研究显示，GPT-4做图形推理题的准确率仅有33%。

GPT-4v是具备多模态能力的，但其表现相对较差，只能正确回答25%的题目

△虚线表示16项任务的平均表现

这项实验结果一经发布，立即在YC上引起了广泛的讨论

一些支持这一结果的网友表示，GPT确实在处理抽象图形方面表现不佳，对于“位置”、“旋转”等概念的理解更加困难

然而，一些网友对这个结论表示怀疑，他们的观点可以简单概括为：

这个观点虽然不能说是错的，但是也无法完全让人信服

至于具体的原因，我们继续往下看。

GPT-4准确率仅33%

为了评估人类和GPT-4在这些图形题上的表现，研究者利用了今年5月推出的ConceptARC数据集

ConceptARC中一共包括16个子类的图形推理题，每类30道，一共480道题目。

这16个子类包含了位置关系、形状、操作、比较等多个方面的内容

具体来说，这些题目都是由一个个像素块组成的。人类和GPT需要根据给定的示例来寻找规律，并分析出图像经过相同方式处理后的结果

作者在论文中具体展示了这16个子类的例题，每类各一道。

结果451名人类受试者平均正确率，在各子项中均不低于83%，16项任务再做平均，则达到了91%。

在“放水”到一道题可以试三次（有一次对就算对）的情况下，GPT-4（单样本）的准确率最高不超过60%，平均值只有33%

早些时候，这项实验涉及的ConceptARC Benchmark的作者也做过类似的实验，不过在GPT-4中进行的是零样本测试，结果16项任务的平均准确率只有19%。

GPT-4v是一种多模态的模型，但准确率却较低。在一个由48道题组成的小规模ConceptARC数据集上，零样本测试和单样本测试的准确率分别只有25%和23%

而研究者在进一步分析了错误答案后，发现人类的有些错误看上去很可能是“粗心导致”，而GPT则是完全没有理解题目中的规律。

对于这些数据，大多数网友没有什么疑问，但引起这个实验备受质疑的是招募到的受试者群体以及提供给GPT的输入方式

受试者选择方式遭质疑

一开始，研究者在亚马逊的一个众包平台上招募受试者。

研究者从数据集中抽取了一些简单题目作为入门测试，受试者需要答对随机3道题目中的至少两道才能进入正式测试。

研究人员发现的结果显示，有些人只是出于贪图金钱的目的参加入门测试，而根本没有按照要求完成题目

迫不得已，研究者将参加测试的门槛上调到了在平台上完成过不少于2000个任务，且通过率要达到99%。

不过，虽然作者用通过率筛人，但是在具体能力上，除了需要受试者会英语，对图形等其他专业能力“没有特殊要求”。

为了实现数据的多样性，研究人员在实验的后期将招募工作转移到了另一个众包平台上。最终，共有415名被试者参与了这项实验

尽管如此，还是有人质疑实验中的样本“不够随机”。

还有网友指出，研究者用来招募受试者的亚马逊众包平台上，有大模型在冒充人类。

多模态版本的GPT操作相对简单，只需直接传入图片，并使用相应的提示词即可

在零样本测试中，只需删除相应的EXAMPLE部分

但对于不带多模态的纯文本版GPT-4（0613），则需要把图像转化为格点，用数字来代替颜色。

针对这种操作，就有人表示不认同了：

把图像转换成数字矩阵后，概念完全变了，就算是人类，看着用数字表示的“图形”，可能也无法理解

One More Thing

无独有偶，斯坦福大学的华裔博士生Joy Hsu也对GPT-4v的图形理解能力进行了几何数据集的测试

去年发布了一个数据集，旨在测试大型模型对欧氏几何的理解。在GPT-4v开放后，Hsu再次使用该数据集对其进行了测试

结果发现，GPT-4v对图形的理解方式，似乎“和人类完全不同”。

在数据方面，GPT-4v在回答这些几何问题上明显不如人类

论文地址：
[1]https://arxiv.org/abs/2305.07141
[2]https://arxiv.org/abs/2311.09247

以上是GPT-4在图形推理方面表现不佳？即使'放水”后，准确率仅为33%的详细内容。更多信息请关注PHP中文网其他相关文章！