올림피아드에서 가장 똑똑한 AI 선택: Claude-3.5-Sonnet 대 GPT-4o?-일체 포함-php.cn

奥林匹克竞赛里选最聪明的AI：Claude-3.5-Sonnet vs. GPT-4o？

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Shanghai Jiao Tong University의 Generative Artificial Intelligence Laboratory(GAIR Lab) 연구팀의 주요 연구 방향은 다음과 같습니다. , 정렬 및 평가.

팀 홈페이지 : https://plms.ai/

AI 기술은 날이 갈수록 변화하고 있습니다. 최근 Anthropic Company에서 출시한 최신 Claude-3.5-Sonnet이 지식 분야에서 널리 사용되고 있습니다. 기반 추론, 수학적 추론, 프로그래밍 작업 및 시각적 추론을 통해 다른 작업에 대한 새로운 업계 벤치마크를 설정하는 것이 광범위한 논의를 불러일으켰습니다. Claude-3.5-Sonnet이 OpenAI의 GPT4o를 세계에서 "가장 지능적인 AI"로 대체했습니까? 이 질문에 대답하는 과제는 먼저 현재 최고 수준의 AI를 구별할 수 있는 충분히 도전적인 지능 테스트 벤치마크가 필요하다는 것입니다.

Shanghai Jiao Tong University의 Generative Artificial Intelligence Laboratory(GAIR Lab)에서 출시한 OlympicArena[1](올림픽 경기장)이 이러한 요구를 충족합니다.

올림픽 주제 대회는 인간(탄소 기반 지능)의 사고 민첩성, 지식 숙달, 논리적 추론에 대한 극한의 도전일 뿐만 아니라 AI("실리콘 기반 지능")를 위한 훌륭한 훈련장이기도 합니다. ) AI와 '초지능' 사이의 거리를 측정하는 중요한 척도입니다. OlympicArena - 진정한 AI 올림픽 경기장. 여기서 AI는 전통적인 교과 지식(수학, 물리학, 생물학, 화학, 지리학 등 최고의 경쟁)에서 그 깊이를 보여줄 뿐만 아니라 모델 간 인지 추론 능력에서도 경쟁해야 합니다.

최근 같은 연구팀은 올림픽 경기장(다양한 종목)에서의 전반적인 성과를 바탕으로 각 AI 모델의 순위를 매기고 선정하는 "

올림픽 메달 목록" 방법을 처음으로 제안했습니다. 지금까지 최고 가장 지능적인 AI. 이 분야에서 연구팀은 최근 출시된 두 가지 고급 모델인 Claude-3.5-Sonnet 및 Gemini-1.5-Pro과 OpenAI의 GPT-4 시리즈(예: GPT4o)를 분석하고 비교하는 데 중점을 두었습니다. 이를 통해 연구팀은 AI 기술 발전을 보다 효과적으로 평가하고 촉진할 수 있기를 희망한다.

奥林匹克竞赛里选最聪明的AI：Claude-3.5-Sonnet vs. GPT-4o？

: 연구팀 먼저 금메달 개수에 따라 모델을 정렬합니다. 금메달 개수가 동일할 경우 전체 성능 점수에 따라 모델을 정렬합니다.

실험 결과는 다음과 같습니다.

Claude-3.5-Sonnet은 전체 성능에서 GPT-4o와 매우 경쟁적이며 일부 과목에서는 GPT-4o를 능가하기도 합니다(예: 물리학, 화학 및 생물학).

Gemini-1.5-Pro 및 GPT-4V는 GPT-4o 및 Claude-3.5-Sonnet보다 순위가 매우 낮지만 둘 사이에는 분명한 성능 차이가 있습니다.

오픈 소스 커뮤니티의 AI 모델 성능은 이러한 독점 모델보다 확실히 뒤떨어집니다.
이 벤치마크에서 이러한 모델의 만족스럽지 못한 성능은 우리가 초지능을 향한 길에 아직 갈 길이 멀다는 것을 보여줍니다.
- 프로젝트 홈페이지: https://gair-nlp.github.io/OlympicArena/
실험 설정

연구팀은 평가를 위해 OlympicArena의 테스트 세트를 가져갔습니다. 이 테스트 세트에 대한 답변은 데이터 유출을 방지하고 모델의 실제 성능을 반영하기 위해 공개되지 않습니다. 연구팀은 다중 모드 대형 모델(LMM)과 텍스트 전용 대형 모델(LLM)을 테스트했습니다. LLM 테스트의 경우 이미지 관련 정보는 모델에 입력으로 제공되지 않고 텍스트만 제공됩니다. 모든 평가는 제로샷 사고 사슬 프롬프트 단어를 사용합니다.

평가 개체

연구팀은 일련의 오픈 및 폐쇄 소스 다중 모드 대형 모델(LMM)과 텍스트 전용 대형 모델(LLM)을 평가했습니다. LMM의 경우 GPT-4o, GPT-4V, Claude-3-Sonnet, Gemini Pro Vision, Qwen-VL-Max 등의 비공개 소스 모델을 선택했으며, 이 밖에 LLaVA-NeXT-34B, InternVL-Chat도 선택했습니다. -V1.5, Yi-VL-34B 및 Qwen-VL-Chat 및 기타 오픈 소스 모델도 평가되었습니다. LLM의 경우 Qwen-7B-Chat, Qwen1.5-32B-Chat, Yi-34B-Chat 및 InternLM2-Chat-20B와 같은 오픈 소스 모델이 주로 평가되었습니다.

또한 연구팀은 특별히 새로 출시된 Claude-3.5-Sonnet과 Gemini-1.5-Pro를 포함하여 강력한 GPT-4o 및 GPT-4V와 비교했습니다. 최신 모델의 성능을 반영합니다.

평가 방법

측정항목 모든 문제는 규칙 기반 일치로 평가할 수 있다는 점을 고려하여 연구팀은 비프로그래밍 작업에는 정확도를 사용하고 프로그래밍 작업에는 편향되지 않은 pass@k 측정항목을 사용했습니다.

이 평가에서는 k = 1, n = 5로 설정되었으며, c는 모든 테스트 케이스를 통과한 올바른 샘플의 수를 나타냅니다.

올림픽 경기장 메달 목록:

올림픽에서 사용되는 메달 시스템과 유사하며, 다양한 학문 분야에서 AI 모델의 성능을 평가하기 위해 특별히 고안된 선구적인 순위 메커니즘입니다. 이 표는 특정 분야에서 상위 3개 결과를 달성한 모델에 메달을 수여하며, 다양한 모델을 비교할 수 있는 명확하고 경쟁력 있는 프레임워크를 제공합니다. 연구팀은 우선 금메달 개수에 따라 모델을 분류했고, 금메달 개수가 같을 경우 종합 성적 점수에 따라 분류했다. 이는 다양한 학문 분야의 선도적인 모델을 식별하는 직관적이고 간결한 방법을 제공하므로 연구자와 개발자가 다양한 모델의 강점과 약점을 더 쉽게 이해할 수 있습니다.

세밀한 평가:
연구팀은 또한 다양한 분야, 다양한 양식, 다양한 언어, 다양한 유형의 논리적 및 시각적 추론 능력을 기반으로 정확성 기반의 세분화된 평가를 수행합니다.

결과 및 분석

분석 내용은 주로 Claude-3.5-Sonnet 및 GPT-4o에 중점을 두고 있으며 부분적으로 Gemini-1.5-Pro의 성능에 대해서도 논의합니다.

전체 상황
표: 다양한 주제에 대한 모델 성능 Claude-3.5-Sonnet의 성능은 강력하며 GPT-4o와 거의 비슷합니다. 둘 사이의 전체 정확도 차이는 약 1%에 불과합니다.
새롭게 출시된 Gemini-1.5-Pro도 대부분의 분야에서 GPT-4V(OpenAI의 현재 두 번째로 강력한 모델)를 능가하는 상당한 성능을 보여주었습니다.

이 글을 쓰는 시점에서 이 세 가지 모델 중 가장 초기 모델이 불과 한 달 전에 출시되었다는 점은 이 분야의 급속한 발전을 반영한다는 점에 주목할 가치가 있습니다.
- 분야에 대한 세분화된 분석
GPT-4o 및 클로드-3. 전체적으로 성능은 비슷하지만 두 모델 모두 서로 다른 주제 장점을 나타냅니다. GPT-4o는 특히 수학과 컴퓨터 과학 분야의 전통적인 연역적 및 귀납적 추론 작업에서 탁월한 능력을 보여줍니다. Claude-3.5-Sonnet은 물리학, 화학, 생물학과 같은 과목, 특히 생물학 분야에서 GPT-4o를 3% 초과하는 우수한 성적을 거두었습니다.
GPT-4V 대 Gemini-1.5-Pro:

Gemini-1.5-Pro와 GPT-4V의 비교에서도 비슷한 현상을 볼 수 있습니다. Gemini-1.5-Pro는 물리학, 화학, 생물학 분야에서 GPT-4V보다 훨씬 뛰어난 성능을 발휘합니다. 그러나 수학과 컴퓨터 과학 측면에서 Gemini-1.5-Pro의 장점은 GPT-4V보다 명백하지 않거나 심지어 열등하지도 않습니다.

이 두 가지 비교 세트에서 다음을 확인할 수 있습니다.

OpenAI의 GPT 시리즈는 전통적인 수학적 추론 및 프로그래밍 기능에서 탁월한 성능을 발휘합니다. 이는 GPT 시리즈 모델이 많은 연역적 추론과 알고리즘적 사고가 필요한 작업을 처리하도록 엄격하게 훈련되었음을 보여줍니다.

반면 Claude-3.5-Sonnet 및 Gemini-1.5-Pro와 같은 다른 모델은 물리학, 화학, 생물학과 같이 지식과 추론이 결합되어야 하는 과목에서 경쟁력 있는 성능을 보여주었습니다. 이는 다양한 모델의 전문 분야와 잠재적인 교육 초점을 반영하여 추론 중심 작업과 지식 통합 작업 간의 가능한 절충안을 나타냅니다.

추론 유형의 세분화된 분석
- 캡션: 논리적 추론 기능에서 각 모델의 성능. 논리적 추론 능력에는 연역적 추론(DED), 귀납적 추론(IND), 귀납적 추론(ABD), 유추적 추론(ANA), 인과적 추론(CAE), 비판적 사고(CT), 분해 추론(DEC) 및 정량적 추론( QUA).
논리적 추론 능력 측면에서 GPT-4o와 Claude-3.5-Sonnet의 비교:
표의 실험 결과에서 볼 수 있듯이 GPT-4o는 뛰어난 성능을 나타냅니다. 대부분의 논리적 추론 능력에서 연역적 추론, 귀납적 추론, 귀납적 추론, 유추적 추론 및 비판적 사고와 같은 영역에서 Claude-3.5-Sonnet보다 우수합니다. 그러나 Claude-3.5-Sonnet은 인과 추론, 분해 추론 및 정량적 추론에서 GPT-4o보다 성능이 뛰어납니다. 전반적으로 두 모델의 성능은 비슷하지만 대부분의 범주에서 GPT-4o가 약간의 이점을 갖습니다.
^{표: 시각적 추론 기능에서 각 모델의 성능. 시각적 추론 능력에는 패턴 인식(PR), 공간 추론(SPA), 도식적 추론(DIA), 기호 해석(SYB) 및 시각적 비교(COM)가 포함됩니다.}

GPT-4o 대 Claude-3.5-Sonnet 시각적 추론 능력 성능:

표의 실험 결과에서 볼 수 있듯이 Claude-3.5-Sonnet이 더 우수합니다. 패턴인식 및 다이어그램 추론을 선도하며, 패턴인식 및 다이어그램 해석 분야에서 경쟁력을 입증하고 있습니다. 두 모델은 기호 해석에 있어 비슷한 성능을 보였으며, 이는 기호 정보를 이해하고 처리하는 데 있어 비슷한 능력을 가지고 있음을 나타냅니다. 그러나 GPT-4o는 공간 추론 및 시각적 비교에서 Claude-3.5-Sonnet보다 성능이 뛰어나 공간 관계 이해 및 시각적 데이터 비교가 필요한 작업에서 우수성을 입증합니다.

학과 및 추론 유형을 종합적으로 분석한 결과 연구팀은 다음과 같은 사실을 발견했습니다.

수학과 컴퓨터 프로그래밍은 복잡한 연역적 추론 기술과 규칙 기반의 보편적인 결론 도출을 강조하며 수학에 덜 의존하는 경향이 있습니다. 기존 지식. 대조적으로, 화학 및 생물학과 같은 분야에서는 인과 관계 및 현상에 대해 알려진 정보를 기반으로 추론하기 위해 대규모 지식 기반이 필요한 경우가 많습니다. 이는 수학적 및 프로그래밍 능력이 여전히 모델의 추론 능력에 대한 유효한 지표이기는 하지만, 다른 분야에서는 내부 지식을 기반으로 모델의 추론 및 문제 분석 능력을 더 잘 테스트한다는 것을 의미합니다.

다양한 분야의 특성은 맞춤형 훈련 데이터 세트의 중요성을 나타냅니다. 예를 들어, 화학, 생물학과 같은 지식 집약적인 주제에서 모델 성능을 향상하려면 모델이 훈련 중에 도메인별 데이터에 광범위하게 노출되어야 합니다. 대조적으로, 수학과 컴퓨터 과학과 같이 강력한 논리와 연역적 추론이 필요한 과목의 경우 모델은 순전히 논리적 추론에 초점을 맞춘 훈련을 통해 이점을 얻을 수 있습니다.

또한 추론 능력과 지식 적용의 차이는 학제 간 적용을 위한 모델의 잠재력을 보여줍니다. 예를 들어, 강력한 연역적 추론 능력을 갖춘 모델은 과학 연구와 같이 문제를 해결하기 위해 체계적인 사고가 필요한 분야를 지원할 수 있습니다. 그리고 지식이 풍부한 모델은 의학, 환경 과학 등 기존 정보에 크게 의존하는 분야에서 가치가 있습니다. 이러한 미묘한 차이를 이해하면 보다 전문적이고 다양한 모델을 개발하는 데 도움이 됩니다.

언어 유형의 세분화된 분석
^{캡션: 다양한 언어 문제에서의 각 모델의 성능.}

위 표는 모델의 성능을 다양한 언어로 보여줍니다. 연구팀은 대부분의 모델이 중국어보다 영어에서 더 정확하다는 것을 발견했으며, 이러한 차이는 최상위 모델 사이에서 특히 중요했습니다. 여러 가지 이유가 있을 수 있다고 추측됩니다.

이러한 모델에는 많은 양의 중국어 학습 데이터가 포함되어 있고 언어 간 일반화 기능이 있지만 학습 데이터는 주로 영어 기반입니다.

중국어 질문은 영어 질문보다 더 어렵습니다. 특히 물리학, 화학과 같은 과목의 경우 중국 올림피아드 질문이 더 어렵습니다.

이러한 모델은 다중 모드 이미지에서 문자를 식별하는 데 부족하며, 이 문제는 중국 환경에서 더욱 심각합니다.

그러나 연구팀은 Qwen1.5-32B-와 같이 중국 제조업체에서 개발한 일부 모델이나 중국어를 지원하는 기본 모델을 기반으로 미세 조정된 일부 모델이 영어 시나리오보다 중국어 시나리오에서 더 나은 성능을 발휘한다는 사실도 발견했습니다. 채팅, Qwen -VL-Max, Yi-34B-Chat 및 Qwen-7B-Chat 등 InternLM2-Chat-20B 및 Yi-VL-34B와 같은 다른 모델은 여전히 영어에서 더 나은 성능을 발휘하지만 상위 순위의 많은 비공개 소스 모델보다 영어와 중국어 장면 간의 정확도 차이가 훨씬 적습니다. 이는 중국어 데이터와 전 세계 더 많은 언어에 대한 모델을 최적화하는 데 여전히 상당한 주의가 필요하다는 것을 보여줍니다.

양식에 대한 세밀한 분석
ㅋㅋ 캡션: 다양한 모달 문제에서 각 모델의 성능.
위 표는 다양한 양식에서 모델의 성능을 보여줍니다. GPT-4o는 일반 텍스트 및 다중 모드 작업 모두에서 Claude-3.5-Sonnet보다 성능이 뛰어나며 일반 텍스트에서 더 두드러지게 수행됩니다. 반면 Gemini-1.5-Pro는 일반 텍스트 및 다중 모드 작업 모두에서 GPT-4V보다 성능이 뛰어납니다. 이러한 관찰은 현재 사용 가능한 가장 강력한 모델조차도 다중 모드 작업보다 텍스트 전용 작업에서 더 높은 정확도를 나타냅니다. 이는 모델이 복잡한 추론 문제를 해결하기 위해 다중 모드 정보를 활용하는 데 여전히 상당한 개선 여지가 있음을 보여줍니다.

결론
본 리뷰에서 연구팀은 주로 최신 모델인 Claude-3.5-Sonnet 및 Gemini-1.5-Pro에 중점을 두고 OpenAI의 GPT-4o 및 GPT-와 비교했습니다. 비교를 위해 4V. 또한 연구팀은 다양한 모델의 성능을 명확하게 비교하기 위해 대형 모델에 대한 새로운 순위 시스템인 OlympicArena Medal Table도 설계했습니다. 연구팀은 GPT-4o가 수학과 컴퓨터 과학 등의 과목에서 탁월하고, 강력한 복합 연역적 추론 능력과 규칙을 기반으로 일반적인 결론을 도출하는 능력을 가지고 있다는 사실을 발견했습니다. 반면 Claude-3.5-Sonnet은 기존 인과 관계와 현상을 기반으로 추론하는 데 더 뛰어납니다. 또한, 연구팀은 이러한 모델이 영어 문제에서 더 나은 성능을 발휘하고 다중 모드 기능을 개선할 여지가 크다는 점도 관찰했습니다. 이러한 모델의 미묘한 차이를 이해하면 다양한 학문 및 전문 분야의 다양한 요구 사항을 더 잘 충족하는 보다 전문화된 모델을 개발하는 데 도움이 될 수 있습니다.

4년마다 열리는 올림픽이 다가오는 지금, 인공지능도 참가할 수 있다면 지혜와 기술의 어떤 정점 대결이 펼쳐질지 상상하지 않을 수 없겠죠? 더 이상 단순한 물리적 경쟁이 아닙니다. AI의 추가는 의심할 여지 없이 지능의 한계에 대한 새로운 탐구를 열어줄 것입니다. 또한 이번 지적 올림픽에 더 많은 AI 플레이어가 참여하기를 기대합니다.

参考链接：
[1] Huang 외, OlympicArena: 초지능 AI를 위한 다분야 인지 추론 벤치마킹 https://arxiv.org/abs/2406.1275 3대1