머스크의 첫 멀티모달 대형 모델이 나왔고, GPT-4V도 또 추월했다

2023년 11월 Grok이 데뷔한 이후 Musk의 xAI는 OpenAI와 같은 선구자를 공격하며 대형 모델 분야에서 지속적인 발전을 거듭해 왔습니다. xAI의 첫 번째 다중 모드 모델은 Grok-1이 오픈 소스로 공개된 지 한 달도 채 되지 않아 출시되었습니다.

어제 xAI는 텍스트를 이해할 수 있을 뿐만 아니라 문서, 차트, 스크린샷, 사진의 콘텐츠를 처리할 수 있는 모델인 Grok-1.5V를 출시했습니다.

Grok-1.5V는 다학제적 추론부터 문서 이해, 과학 도표, 스크린샷, 사진 등 다양한 영역에서 우아한 성능을 발휘할 수 있는 멀티모달 모델입니다. xAI는 또한 앞으로 몇 달 안에 이미지, 오디오, 비디오 등 다양한 양식에 대해 더 높은 모델 기능을 선보일 것으로 예상된다고 밝혔습니다.

Grok-1.5V와 GPT-4V, Claude 3 Sonnet, Claude 3 Opus 및 Gemini Pro 1.5 간의 테스트 비교를 보았습니다. 무엇보다도 다음과 같습니다. "우리는 물리적 세계를 이해하는 Grok의 능력에 특히 기대하고 있습니다. Grok은 새로운 RealWorldQA 벤치마크에서 동료보다 뛰어난 성능을 보였습니다. 아래의 모든 데이터 세트에 대해 우리는 체인 프롬프트를 생각하지 않고 Grok 평가를 테스트했습니다. "단어 수: 105

Grok-1.5가 Grok-1과 유사한 오픈 소스 라이선스로 출시될 수 있다면 이는 현재 LLM 경쟁 환경이 될 것입니다.

Grok-1.5V의 성능은 어떻게 되나요?

현재 Grok-1.5V는 아직 완전히 공개되지 않았지만 곧 초기 테스터와 기존 Grok 사용자에게 제공될 예정입니다. 그러나 블로그에는 Grok-1.5V의 7가지 예가 나와 있습니다.

첫 번째는 순서도의 화이트보드 스케치를 Python 코드로 변환하는 것입니다.

프롬프트: 이것을 Python 코드로 번역할 수 있습니까? (이것을 Python 코드로 번역할 수 있습니까?)

Grok: 물론이죠! 제공하신 순서도는 간단한 추측 게임을 설명합니다. 컴퓨터는 난수를 생성하고 사용자는 이를 추측해야 합니다. 다음은 순서도의 논리를 나타내는 Python 코드입니다.

import randomdef guess_number(): # Generate a random number between 1 and 10target = random.randint(1, 10)while True:guess = int(input("Guess a number between 1 and 10: "))if guess == target:print("You won!")breakelse:print("Wrong guess, try again!")if __name__ == "__main__":guess_number()

第二个是计算卡路里：

Prompt：How many calories are there in 5 slices of this?（5 片有多少卡路里？）

Grok：如果一份是 3 片，含有 60 卡路里，那么 5 片就含有大约 100 卡路里。计算方法是首先确定每片的热量：60 卡 / 3 片 = 20 卡 / 片。然后，将每片的卡路里乘以片数：每片 20 卡路里 * 5 片 = 100 卡路里。

第三个是将草图转化为睡前故事：

Prompt：My son drew this, can you tell a short bedtime story based on his drawing?（这是我儿子画的，你能根据他的画讲一个简短的睡前故事吗？）

Grok：

很久很久以前，在一个充满冒险和奇迹的国度里，有一个勇敢的小男孩，名叫提米。提米和家人住在舒适的小房子里，他最喜欢的事情就是探索周围的世界。

在一个阳光明媚的日子里，提米决定去附近的森林探险。他带上了自己最喜欢的零食、指南针和他最信任的笔记本，准备把看到的所有令人兴奋的事物都画下来。

当 Timmy 走进森林深处时，他发现了一条在阳光下闪闪发光的神奇河流。这条河是如此迷人，以至于提米决定做一艘小纸船，顺流而下，作为给森林精灵的特别讯息。

提米小心翼翼地折好纸船，在上面画了一个笑脸，希望能给森林精灵带来欢乐。然后，他把小船放在河面上，看着小船载着他的友谊和对大自然的爱漂走了。

夕阳西下，提米知道是时候回家了。他为自己在森林里度过的神奇的一天感到庆幸，他知道自己将永远铭记这次探险。

回到家后，提米和家人分享了他的故事，家人听到他在森林里度过的神奇一天都非常高兴。他们一致认为，提米勇敢、善良的精神是一种真正的激励，他们知道，提米今后还会有更多精彩的冒险经历。

就这样，带着满心的爱和满脑子的梦想，提米渐渐进入了梦乡，他渴望发现在他的想象世界里还有什么新的冒险在等着他。

第四个是解释梗图：

Prompt：I don't get it, please explain（我不理解，啥意思？）

Grok：

这幅图幽默地将初创公司和大公司作了对比。在标有 "初创企业" 的左侧，有一群人在一起挖洞。他们都在积极参与，洞已经挖得很深了。

在标有 "大公司" 的右侧，有一群人围着一个洞站着。然而，与初创公司不同的是，只有一个人真正在挖洞，其他人都在观看或从事其他活动。

这幅图的幽默感来自于对初创企业和大公司之间差异的夸大。在初创公司，人们往往有一种紧迫感，希望每个人都能直接为手头的任务做出贡献。相比之下，大公司往往被描述为官僚主义更严重，所有团队成员对每个项目的直接参与更少。

第五个是将表格转换为 CSV 文件格式：

Prompt：Please convert this table to csv.（请将此表转换为 csv。）

Grok：

medal,name,sport,event,date1 gold,El Amin Chentouf,Athletics,Men's marathon - T13,11 September1 gold,Mohamed Amguoun,Athletics,Men's 400m - T13,15 September1 gold,Azeddine Nouiri,Athletics,Men's shot put - T34,15 September2 silver,Mahdi Afri,Athletics,Men's 400m - T12,9 September2 silver,El Amin Chentouf,Athletics,Men's 5000m - T13,15 September3 bronze,Mahdi Afri,Athletics,Men's 200m - T12,17 September3 bronze,Mohamed Lahna,Paratriathlon,Men's PT2,10 September

CSV 格式不支持样式或格式设置，因此信息以纯文本格式呈现。

第六个是辨别木头的腐朽程度：

Prompt：These holes are appearing around the screws in my deck. Is it rotten? Should I get my boards replaced?（这些孔出现在我的甲板上的螺钉周围。是不是烂了？我应该更换吗？）

Grok：

甲板上的木材似乎已经开始腐烂。这表现在螺丝周围出现孔洞，这是木材腐烂的常见迹象。

为了确保露台的安全和使用寿命，建议更换受影响的木板。这将有助于防止其受到进一步损坏，并保持其结构的完整性。

如果您不确定如何更换木板，咨询专业的露台建造商或承包商可能会有所帮助。他们将能够评估损坏的程度，并就最佳行动方案向您提供专家建议。

第七个是解决编程问题：

Prompt：Can you write Python code that solves this?（你能编写 Python 代码来解决这个问题吗？）

Grok 回复如下：

def find_triplets(nums):result = []nums.sort()for i in range(len(nums) - 2):if i > 0 and nums[i] == nums[i - 1]:continuetarget = -nums[i]left = i + 1right = len(nums) - 1while left 

RealWorldQA 基准

本次发布还有一个亮点：xAI 推出了一个新的基准「RealWorldQA」。

下载地址：https://data.x.ai/realworldqa.zip

「为了开发有用的真实世界人工智能助手，提高模型对物理世界的理解至关重要。」xAI 希望借助该基准更好地评估多模态模型的基本真实世界空间理解能力。「虽然当前基准中的许多示例对人类来说相对容易，但它们往往对前沿模型构成挑战。」

目前，RealWorldQA 包含 700 多张图片，每张图片都有一个问题和易于验证的答案。

在真实世界的图像外，该数据集还包括从车辆上拍摄的匿名图像。这对于自动驾驶领域来说，或许是个好消息。

巧合的是，微软研究院前段时间更新了跨语言、模态、模型和任务的基准测试 MEGAVERSE，包含 22 个数据集，涵盖 83 种语言（包括资源匮乏的非洲语言）。微软还在基准测试中加入了两个多模态数据集，并比较了 LLaVA 模型 GPT-4-Vision 和 Gemini-Pro-Vision 的性能。

Meta 在前几天也开源了衡量人工智能系统具体问答能力的基准数据集 OpenEQA，包含家庭和办公室等 180 多种不同现实环境的 1600 多个问题，跨越七个类别，全面测试 AI 在物体和属性识别、空间和功能推理以及常识知识等技能方面的能力，加深大模型对现实世界的理解。

即使是最先进的 AI 模型，如 GPT-4V，在 OpenEQA 上也难以与人类表现相媲美。OpenEQA 是衡量人工智能系统理解和回答现实世界问题能力的新基准。

在这些研究的推动下，我们可以期待一下 2024 年大模型在现实世界任务取得更多的进展。

参考链接：https://x.ai/blog/grok-1.5v

위 내용은 머스크의 첫 멀티모달 대형 모델이 나왔고, GPT-4V도 또 추월했다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!