정확도가 20% 미만입니다. GPT-4V/Gemini는 만화를 읽을 수 없습니다! 최초의 오픈 소스 이미지 시퀀스 벤치마크

OpenAI의 GPT-4V와 Google의 Gemini 다중 모달 대형 언어 모델은 업계와 학계의 광범위한 관심을 끌었습니다. 이러한 모델은 다양한 영역에서 비디오에 대한 깊은 이해를 보여주며 다양한 관점에서 비디오의 잠재력을 보여줍니다. 이러한 발전은 인공 일반 지능(AGI)을 향한 중요한 단계로 널리 간주됩니다.

하지만 GPT-4V가 만화 속 캐릭터의 행동을 잘못 읽을 수도 있다고 말하면 질문하겠습니다. Yuanfang, 어떻게 생각하시나요?

이 미니 만화 시리즈를 살펴 보겠습니다.

Pictures

생물학적 세계에서 가장 높은 지능을 가진 인간, 즉 독자 친구 여러분이 설명하게 된다면 가장 다음과 같이 말할 것 같습니다:

Pictures

그럼 기계 세계의 최고 지능, 즉 GPT-4V가 이 미니 만화 시리즈에 대해 무엇을 설명할지 볼까요?

Pictures

GPT - 4V는 경멸 사슬의 정점에 있다고 인정받는 기계 지능으로서 실제로는 노골적으로 거짓말을 했습니다.

더 황당한 것은 GPT-4V가 실생활 영상을 제공하더라도 계단을 올라가면서 다른 사람과 대화하는 행동을 두 사람이 '무기'를 들고 서로 싸우는 것으로 황당하게 인식한다는 점이다. 장난스럽습니다(아래 그림).

Pictures

제미니도 멀지 않았습니다. 같은 이미지 클립에는 한 남자가 위층으로 올라가려고 애쓰다가 아내와 말다툼을 하고 집에 갇히는 과정이 담겨 있습니다.

Pictures

이 예는 MLLM용으로 특별히 설계된 이미지 시퀀스에 대한 추론 벤치마크인 Mementos를 출시한 메릴랜드 대학교와 노스캐롤라이나 채플 힐 연구팀의 최신 결과에서 나온 것입니다.

Nolan의 영화 Memento가 스토리텔링을 재정의한 것처럼 Mementos는 인공 지능 테스트의 한계를 재창조하고 있습니다.

새로운 벤치마크 테스트로서 메모리 조각과 같은 이미지 시퀀스에 대한 인공 지능의 이해에 도전합니다.

Pictures

문서 링크: https://arxiv.org/abs/2401.10529

프로젝트 홈페이지: https://mementos-bench.github.io

Mementos는 MLLM A 벤치마크를 위해 특별히 설계된 최초의 제품입니다. 연속 이미지에 대한 대형 모델의 대상 환각 및 행동 환각에 초점을 맞춘 이미지 시퀀스 추론.

실제 이미지, 로봇 이미지, 애니메이션 이미지라는 세 가지 주요 범주를 다루는 다양한 유형의 사진이 포함됩니다.

또한 다양한 길이의 4,761개의 다양한 이미지 시퀀스가 ​​포함되어 있으며 각 이미지 시퀀스에는 주요 개체와 시퀀스에서의 동작을 설명하는 사람의 주석이 포함되어 있습니다.

Pictures

데이터는 현재 오픈 소스이며 계속 업데이트 중입니다.

환각 유형

논문에서 저자는 MLLM이 Mementos에서 생성할 두 가지 환각, 즉 대상 환각과 행동 환각에 대해 설명합니다.

이름에서 알 수 있듯이 대상 환각은 존재하지 않는 대상(객체)을 상상하는 것이고, 행동 환각은 대상이 수행하지 않은 행동과 행동을 상상하는 것입니다.

평가 방법

메멘토스에서 MLLM의 행동환각과 대상환각을 정확하게 평가하기 위해 연구팀은 MLLM이 생성한 이미지 설명과 인간 주석에 대한 설명을 키워드 매칭으로 선택했습니다.

각 MLLM의 성능을 자동으로 평가하기 위해 저자는 GPT-4 보조 테스트 방법을 사용하여 다음을 평가합니다.

Pictures

1 저자는 이미지 시퀀스와 프롬프트 단어를 MLLM에 대한 입력으로 사용합니다.

2. AI 생성 설명에서 객체 및 행동 키워드를 추출하도록 GPT-4에 요청합니다.

3. AI 생성 객체 키워드 목록과 AI가 생성한 행동 키워드 목록

4. AI가 생성한 객체 키워드 목록과 행동 키워드 목록의 재현율, 정확도 및 F1 지수를 계산합니다.

평가 결과

저자는 Mementos의 시퀀스 이미지 추론에서 MLLM의 성능을 평가했으며, GPT4V 및 Gemini를 포함한 9개의 최신 MLLM에 대한 세부 평가를 수행했습니다.

MLLM은 연속 이미지에 대한 MLLM의 추론 능력을 평가하기 위해 이미지 시퀀스에서 발생하는 이벤트를 설명하도록 요청받습니다.

그 결과, 아래 그림과 같이 만화 데이터 세트에서 캐릭터 행동에 대한 GPT-4V와 Gemini의 정확도는 20% 미만인 것으로 나타났습니다.

Pictures

실제 이미지와 로봇 이미지에서 GPT-4V와 Gemini의 성능은 만족스럽지 않습니다:

Pictures

Key points

1. 모달 대규모 언어 모델에 등장한 GPT-4V 및 LLaVA-1.5는 각각 블랙박스 및 오픈 소스 MLLM에서 가장 성능이 뛰어난 모델입니다. GPT-4V는 이미지 시퀀스를 이해하는 추론 능력에서 다른 모든 MLLM을 능가하는 반면, LLaVA-1.5는 객체 이해에서 블랙박스 모델인 Gemini와 거의 동등하거나 심지어 능가합니다.

2. Video-LLaMA-2와 Chat-UniVi는 영상 이해를 위해 설계되었지만 LLaVA-1.5보다 더 좋은 장점을 보여주지는 않습니다.

3. 모든 MLLM은 이미지 시퀀스의 객체 추론의 세 가지 지표에서 행동 추론보다 훨씬 더 나은 성능을 발휘합니다. 이는 현재 MLLM이 연속 이미지에서 동작을 자율적으로 추론하는 능력이 강하지 않음을 나타냅니다.

4. 로봇공학 분야에서는 블랙박스 모델이 가장 좋은 성능을 발휘하는 반면, 일상생활 분야에서는 오픈소스 모델이 상대적으로 좋은 성능을 발휘합니다. 이는 훈련 데이터의 분포 이동과 관련이 있을 수 있습니다.

5. 훈련 데이터의 한계로 인해 오픈 소스 MLLM의 추론 기능이 약해집니다. 이는 훈련 데이터의 중요성과 모델 성능에 대한 직접적인 영향을 보여줍니다.

오류 원인

이미지 시퀀스 추론 처리 시 현재 다중 모드 대규모 언어 모델이 실패하는 이유에 대한 저자의 분석은 주로 세 가지 오류 원인을 식별합니다.

1 객체와 행동 환상의 관계 상호 작용.

연구에서는 잘못된 객체 인식이 후속 동작 인식으로 이어질 것이라는 가설을 세웠습니다. 정량적 분석과 사례 연구에 따르면 대상 환각은 어느 정도 행동 환각으로 이어질 수 있습니다. 예를 들어, MLLM이 장면을 테니스 코트로 잘못 식별하는 경우 이러한 동작이 이미지 시퀀스에 존재하지 않더라도 테니스를 치는 캐릭터를 설명할 수 있습니다.

2. 행동 환각에 대한 동시 발생의 영향

MLLM은 이미지 시퀀스 추론에서 흔히 발생하는 행동 조합을 생성하는 경향이 있으며, 이는 행동 환각 문제를 악화시킵니다. 예를 들어, 로봇 도메인의 이미지를 처리할 때 MLLM은 실제 동작이 "서랍의 측면을 잡는 것"임에도 불구하고 "손잡이를 잡은" 후 서랍을 여는 로봇 팔을 잘못 설명할 수 있습니다.

3. 행동 착각의 눈덩이 효과

이미지 시퀀스가 ​​진행됨에 따라 오류가 점차 누적되거나 심화될 수 있는데, 이를 눈덩이 효과라고 합니다. 이미지 시퀀스 추론에서는 오류가 조기에 발생하면 이러한 오류가 시퀀스에 누적되어 증폭되어 객체 및 동작 인식의 정확도가 저하될 수 있습니다.

예를 들어

Picture

위 그림에서 볼 수 있듯이 MLLM의 실패 원인으로는 대상환각과 대상환각과 행동환각의 상관관계, 그리고 대상환각과 행동환각의 상관관계 등이 있습니다. 동반 행동.

예를 들어, MLLM은 '테니스 코트'라는 대상 환각을 경험한 후 '테니스 라켓을 쥐고 있는 것'이라는 행동 환각(대상 환각과 행동 환각의 상관관계)과 '테니스를 치고 있는 것처럼 보인다'라는 동시 발생 행동을 보였습니다. " .

Pictures

위 사진의 샘플을 보면 MLLM이 의자가 더 뒤로 기울어져 있고 의자가 부러진 것으로 착각한 것을 볼 수 있습니다.

이 현상은 MLLM이 이미지 시퀀스의 정적 개체에 대해 개체에 어떤 동작이 발생한 것처럼 착각을 일으킬 수도 있음을 보여줍니다.

Pictures

위의 로봇 팔 이미지 시퀀스 디스플레이에서 로봇 팔이 핸들 옆에 도달하고 MLLM은 로봇 팔이 핸들을 잡았다고 잘못 믿어 MLLM이 다음을 생성한다는 것을 증명합니다. 이미지 시퀀스 추론에서 흔히 나타나는 행동의 조합으로 인해 환각이 발생합니다.

사진

위의 경우, 늙은 주인은 개를 인도해야 한다고 잘못 믿었고, "개 장대 높이뛰기"는 "분수"로 인식되었습니다. 생성되었습니다."

오류가 많은 것은 MLLM이 만화 분야에 익숙하지 않음을 반영합니다. 2차원 애니메이션 분야에서 MLLM은 상당한 최적화와 사전 훈련이 필요할 수 있습니다.

저자는 각 주요 카테고리를 보여줍니다. 실패사례를 구체적으로 파악하고 심층분석을 실시하였습니다.

요약

최근 몇 년 동안 다중 모달 대규모 언어 모델은 다양한 시각적 언어 작업을 처리하는 데 탁월한 능력을 보여주었습니다.

GPT-4V, Gemini 등의 모델은 이미지와 관련된 텍스트를 이해하고 생성할 수 있어 인공지능 기술 발전에 크게 기여하고 있습니다.

그러나 기존 MLLM 벤치마크는 주로 단일 정적 이미지를 기반으로 한 추론에 중점을 두고 있는 반면, 변화하는 세계를 이해하는 데 중요한 이미지 시퀀스에서 추론하는 기능은 상대적으로 연구가 부족했습니다.

이 문제를 해결하기 위해 연구원들은 시퀀스 이미지 추론에서 MLLM의 기능을 평가하는 것을 목표로 하는 새로운 벤치마크 "Mementos"를 제안합니다.

Mementos에는 다양한 길이의 4761개의 다양한 이미지 시퀀스가 ​​포함되어 있습니다. 또한 연구팀은 MLLM의 추론 성능을 평가하기 위해 GPT-4 보조 방법도 채택했습니다.

Mementos의 최신 MLLM 9개(GPT-4V 및 Gemini 포함)에 대한 신중한 평가를 통해 연구에서는 이러한 모델이 주어진 이미지 시퀀스의 동적 정보를 정확하게 설명하는 데 어려움이 있어 종종 물체와 그 동작에 환각이 발생한다는 사실을 발견했습니다. /잘못된 표현.

정량 분석 ​​및 사례 연구를 통해 MLLM의 시퀀스 이미지 추론에 영향을 미치는 세 가지 주요 요소를 식별합니다.

1 객체 환상과 행동 환상 간의 상관 관계

2.

3. 행동 환각의 누적 효과.

이 발견은 동적 시각 정보를 처리하는 MLLM의 능력을 이해하고 향상시키는 데 큰 의미가 있습니다. Mementos 벤치마크는 현재 MLLM의 한계를 밝힐 뿐만 아니라 향후 연구 및 개선 방향도 제시합니다.

인공지능 기술의 급속한 발전으로 인해 다중 모드 이해 분야에서 MLLM의 적용은 더욱 광범위하고 심도 있게 될 것입니다. Mementos 벤치마크의 도입은 이 분야의 연구를 촉진할 뿐만 아니라 이러한 고급 AI 시스템이 복잡하고 끊임없이 변화하는 세계를 처리하고 이해하는 방법을 이해하고 개선할 수 있는 새로운 관점을 제공합니다.

참고자료:

https://github.com/umd-huanglab/Mementos

위 내용은 정확도가 20% 미만입니다. GPT-4V/Gemini는 만화를 읽을 수 없습니다! 최초의 오픈 소스 이미지 시퀀스 벤치마크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!