7B 모델이 GPT4-V를 능가합니다! 홍콩 과학기술대학교 등이 '그래프 추론 질문 및 답변' 데이터 세트 GITQA를 발표했습니다: 시각적 그래프는 추론 능력을 향상시킬 수 있습니다

GNN(그래프 신경망)은 추론을 위해 그래프의 구조적 정보를 활용하는 데 능숙하지만 최적의 성능을 달성하기 위해 도메인별 조정이 필요한 경우가 많으므로 다양한 작업에 걸쳐 일반화하는 능력이 제한됩니다.

대형 언어 모델(LLM)은 그래프 추론을 위한 강력한 교차 작업 및 일반화 기능을 갖추고 있지만 특정 작업에 대한 전용 그래프 신경망 모델만큼 성능을 ​​발휘하지 못하는 경우가 많습니다.

현재 그래프 추론에 대한 연구는 전통적인 그래프 신경망이든 대규모 언어 모델을 기반으로 하는 그래프 추론 방법이든 그래프 추론에서 시각적 정보의 중요성을 종종 무시합니다.

그러나 인간은 그래프에 고리가 있는지 확인하는 등의 그래프 작업을 효율적이고 정확하게 완료하기 위해 시각적 기능을 사용합니다.

따라서 그래프 추론에서 시각적 형태학적 그래프 정보의 역할을 탐구하는 것은 큰 의미가 있습니다.

좀 더 구체적으로 그래프(Graph)를 그림(Image)으로 그려 모델에게 특별한 추론 능력을 부여할 수 있나요? 이러한 이미지(시각적 그래프라고 함)는 다른 양식을 기반으로 기존 그래프 추론 모델을 향상시킬 수 있습니까?

이러한 질문에 답하기 위해 홍콩과기대와 남부과기대 연구팀은 시각적 그래프가 포함된 최초의 추론 질문과 답변 데이터세트 GITQA를 구축했으며 GPT-4 터보, GPT-4V 및 Vicuna, LLaVA 등. 비공개 소스 모델에 대한 광범위한 실험을 수행하여 그래프 추론에서 시각적 그래프의 역할과 텍스트 양식과의 상호 강화를 확인했습니다.

Pictures

논문 주소: https://arxiv.org/abs/2402.02130

프로젝트 홈페이지: https://v-graph.github.io/

at GITQA 테스트 벤치마크에서는 LLaVA-7B/13B를 기반으로 미세 조정된 멀티모달 모델 GITA-7B/13B가 GPT-4V를 능가하는 그래프 추론 성능을 입증했다.

GITQA 멀티모달 그래프 추론 질문 및 답변 데이터 세트

연구팀은 그래프 구조를 다양한 스타일의 시각적 이미지로 그려서 GITQA 데이터 세트와 해당 테스트 벤치마크를 구축했습니다. GITQA 데이터 세트에는 423,000개 이상의 질문 및 답변 인스턴스가 포함되어 있습니다. , 각 인스턴스에는 상호 대응하는 그래프 구조-텍스트-시각적 정보와 해당 질문-답변 쌍이 포함되어 있습니다.

GITQA 데이터 세트에는 GITQA-Base와 GITQA-Aug의 두 가지 버전이 포함되어 있으며, 그 중 GITQA-Base에는 단일 스타일의 시각적 이미지만 포함되어 있습니다.

GITQA-Aug는 레이아웃, 포인트 모양, 가장자리 너비 및 포인트 스타일 등을 변경하는 등 시각적 이미지에 대한 다양한 데이터 향상을 수행하여 더욱 다양한 시각적 이미지 성능을 제공합니다.

Pictures

그림 1에서 볼 수 있듯이 GITQA 테스트 벤치마크에는 8가지 대표적인 그래프 추론 작업이 포함되어 있습니다: 연결성(그래프의 두 점이 연결되어 있는지 확인), 사이클(그래프에 주기가 있는지 확인) 그래프), TS(그래프의 위상학적 순서 찾기), SP(그래프에서 두 점 사이의 최단 경로 찾기), MaxFlow(그래프에서 두 점 사이의 최대 흐름 계산), BGM(그래프의 최대 일치 계산) 이분 그래프), HP(그래프에서 최대 일치 찾기) 해밀턴 경로) 및 GNN(GNN의 메시지 전달 시뮬레이션).

Pictures

각 작업에 해당하는 데이터 세트는 그래프 구조의 복잡성에 따라 다양한 난이도의 하위 세트로 나뉩니다(관련 통계는 표 1에 표시됨).

실험 및 결과

실험 1: 다양한 모달 그래프 정보 기반 모델의 그래프 추론 능력 비교

연구팀은 다양한 모달 그래프 입력 유형(텍스트만 포함)에 따라 GITQA-Base 데이터 세트를 사용했습니다. (T-Only), 비전 전용(V-Only) 및 텍스트 + 비전(V+T)), 인기 있는 폐쇄 소스 및 오픈 소스 대규모 언어 모델(예: GPT-4 터보 및 Vicuna-7B)을 평가합니다. /13B) 및 GPT-4V 및 LLaVA-7B/13B와 같은 대규모 다중 모드 언어 모델의 성능을 제공합니다. 그림 2에 표시된 것처럼.

그림

특히 비공개 소스 모델인 GPT-4 및 GPT-4V는 제로 샘플 추론을 수행하는 반면, 오픈 소스 모델인 Vicuna 및 LLaVA의 경우 백본 모델 매개변수를 변경하지 않고 유지함으로써 프로젝터와 LoRA 부분이 미세 조정되었습니다. (특히 시각적 + 텍스트 이중 모달 미세 조정 후 LLaVA 모델은 연구원이 GITA라고 명명했습니다.)

표 2에는 8가지 그래프 추론 작업 모두에 대한 테스트 결과가 요약되어 있습니다.

Pictures

시각적 모달리티 VS 텍스트 모달리티

표 2에서 볼 수 있듯이 사이클 및 BGM 작업에서는 시각적 모달리티가 텍스트 모달리티보다 더 잘 수행되는 반면, 다른 5개 작업에서는 그렇지 않습니다. 텍스트 모달로 좋습니다. 이는 비전과 텍스트가 각각 특정 유형의 그래프 추론 작업을 처리하는 데 장점이 있음을 보여줍니다. 시각적 및 텍스트 형식의 상호 향상

비공개 소스 모델의 경우 GPT-4V(V+T)는 GPT-4 Turbo(T-only) 및 GPT-4V(V-only)보다 8개 작업에 대한 평균 정확도가 훨씬 더 높습니다. ).

오픈 소스 모델(7B, 13B)의 경우 마찬가지로 바이모달 데이터를 사용하여 훈련된 GITA 모델이 평균적으로 가장 좋은 성능을 발휘합니다. 이러한 관찰은 시각적 정보와 텍스트 정보를 동시에 사용하면 모델의 그래프 추론 기능을 향상시키고 단일 모달 모델보다 더 나은 성능을 얻을 수 있음을 확인합니다.

더 구체적으로 말하면 GITA-7B(V+T)는 거의 모든 작업에서 LLaVA-7B(V-only) 및 Vicuna-7B(T-only)보다 성능이 뛰어납니다. 비공개 소스 모델의 경우 이중 모드를 사용하면 8개 작업 중 5개 작업에서 가장 높은 정확도를 달성했습니다. 미세 조정된 LLaVA 모델은 GPT-4V를 능가할 수 있습니다

Table 2와 Figure 3에서 볼 수 있듯이 GITA-7B 및 GITA-13B 모델, 즉 듀얼 모달 미세 조정된 LLaVA-7B/13B 모델은 GPT -4V보다 뛰어난 성능 13% 이상의 획기적인 성능 향상. 이러한 엄청난 개선은 ​​미세 조정된 GITA 모델이 GITQA 데이터 세트에서 우수한 그래프 추론 기능을 효과적으로 학습할 수 있음을 보여줍니다.

Pictures

실험 2: 난이도가 그래프 작업에 미치는 영향

표 3은 다양한 난이도에서 모델의 테스트 정확도를 추가로 보여줍니다(GNN 작업은 모든 모델에 너무 어려워서 생략되었습니다) .

시각적 양식만을 사용하는 성능은 텍스트 양식보다 우수하며 모든 난이도 수준의 Cycle 및 BGM 작업에서 두 ​​양식을 모두 사용하는 것과 비슷합니다.

그러나 다른 작업의 경우 난이도가 쉬움에서 중간 또는 어려움으로 증가하면 시각적 양식만 사용하는 모델의 성능이 크게 떨어집니다.

Pictures

마찬가지로, 난이도가 높아지면 텍스트 양식과 시각적 + 텍스트 양식만 사용하는 모델도 이러한 작업에서 큰 성능 저하를 경험하게 됩니다.

연결 작업의 경우 GITA-7B(시각적 + 텍스트) 및 GITA-13B(시각적 + 텍스트)는 세 가지 챌린지 수준 모두에서 비슷한 성능을 보여줍니다.

그러나 GPT-4V(시각적 + 텍스트)에서는 난이도가 높아질수록 성능이 저하되기 때문에 이러한 일관된 패턴이 관찰되지 않습니다.

실험 3: 시각적 그래프 향상 전략 및 스타일 선호도

연구팀은 모델 미세 조정에 있어서 특수한 데이터 증대 전략의 효과도 조사했습니다.

다양한 향상 전략을 기반으로 연구원들은 GITQA-Aug 데이터 세트를 레이아웃 향상 데이터 세트, 노드 모양 향상 데이터 세트, 가장자리 너비 향상 데이터 세트 및 노드 스타일 향상 데이터 세트의 네 가지 향상 하위 세트로 나누었습니다.

Pictures

연구원들은 시각적 지도 정보만 사용하는 LLaVA-7B 모델의 향상된 하위 집합 4개를 모두 개별적으로 미세 조정했습니다. 추론 성능과 데이터 향상 전의 비교는 표 4에 나와 있습니다. .

레이아웃이 강화된 데이터 세트에서 어려운 작업에 대한 모델의 추론 능력이 극적으로 향상되었음을 분명히 알 수 있습니다(SP 64.8% 증가, HP 69.63% 증가).

다른 세 가지 데이터 증대 전략은 실제로 성능 저하로 이어집니다.

특히 이 모델은 레이아웃 증강 세트에서 GITQA-Base 세트보다 11% 이상 높은 우수한 결과를 달성합니다. 이에 비해 다른 증강 세트의 8개 작업에 대한 평균 결과는 기본 세트보다 약 5% 낮습니다

사진

이러한 결과는 레이아웃 기반 데이터 증대가 그래프 추론에 더 효과적인 시각적 관점을 제공한다는 것을 시사합니다. 또한 연구원들은 각 개선 전략에 따라 동일한 그룹 내의 각 스타일을 기반으로 한 시각적 그래프 추론 성능을 테스트했습니다. 표 5에서 볼 수 있듯이 모델에는 뚜렷한 스타일 선호도가 없음을 보여줍니다.

위 내용은 7B 모델이 GPT4-V를 능가합니다! 홍콩 과학기술대학교 등이 '그래프 추론 질문 및 답변' 데이터 세트 GITQA를 발표했습니다: 시각적 그래프는 추론 능력을 향상시킬 수 있습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!