Yan Shuicheng이 책임을 맡아 '유니버설 비주얼 멀티 모드 대형 모델'의 궁극적인 형태를 확립했습니다! 통일된 이해/생성/분할/편집

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

최근 Yan Shuicheng 교수의 팀 Vitron 범용 픽셀 수준 시각적 다중 모드 대형 언어 모델을 공동으로 출시하고 오픈 소스화했습니다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

프로젝트 홈페이지 및 데모: https://www.php.cn/link/d8a3b2dde3181c8257e2e45efbd1e8ae문서 링크: https://www.php.cn/link/0ec5ba8 72f117 9835987f9028c4cc4df 오픈 소스 코드 :https://www.php.cn/link/26d6e896db39edc7d7bdd357d6984c95 이것은 견고한 일반 시각적 멀티 모달 모델입니다. 시각적 이해부터 시각적 생성까지, 낮은 수준부터 높은 수준까지 일련의 시각적 작업을 모두 지원하며 오랫동안 대규모 언어 모델 업계를 괴롭혀온 이미지/비디오 모델 분리 문제를 해결하고 포괄적이고 통일된 이해를 제공합니다. 정적인 이미지와 동적 영상 콘텐츠의 생성, 분할, 편집 등의 작업을 위한 픽셀 수준의 범용 시각 다중 모드 대형 모델은 차세대 범용 시각 대형 모델의 궁극적인 형태를 위한 기반을 마련합니다. , 또한 대형 모델의 일반 인공 지능(AGI)을 향한 또 다른 큰 진전입니다.

Vitron은 통합된 픽셀 수준의 시각적 다중 모드 대형 언어 모델로서 하위 수준에서 상위 수준까지 시각적 작업을 포괄적으로 지원하고 복잡한 시각적 작업을 처리하며 이미지를 이해하고 생성할 수 있습니다. 강력한 시각적 이해와 작업 실행 기능을 제공하는 비디오 콘텐츠입니다. 동시에 Vitron은 사용자와의 지속적인 작업을 지원하여 유연한 인간-컴퓨터 상호 작용을 가능하게 하며 보다 통합된 시각적 다중 모드 범용 모델을 향한 큰 잠재력을 보여줍니다.

Vitron 관련 논문, 코드 및 데모가 모두 공개되었습니다. 포괄성, 기술 혁신, 인간-컴퓨터 상호 작용 및 응용 가능성 측면에서 Vitron의 고유한 장점과 잠재력은 다중 모드를 촉진했을 뿐만 아니라 대형 모델의 개발은 미래의 시각적 대형 모델 연구에도 새로운 방향을 제시합니다.

현재 시각적 대형 언어 모델(LLM) 개발은 만족스러운 진전을 이루었습니다. 커뮤니티에서는 더욱 일반적이고 강력한 MLLM(다중 모드 대형 모델)을 구축하는 것이 일반 인공 지능(AGI)을 달성할 수 있는 유일한 방법이 될 것이라고 점점 더 믿고 있습니다. 그러나 다중 모드 일반 모델(Generalist)로 전환하는 과정에는 여전히 몇 가지 주요 과제가 있습니다. 예를 들어, 작업의 상당 부분이 세밀한 픽셀 수준의 시각적 이해를 달성하지 못하거나 이미지 및 비디오에 대한 통일된 지원이 부족합니다. 혹은 다양한 시각적 작업에 대한 지원이 부족하여 보편적인 대형 모델과는 거리가 멀습니다.

이러한 격차를 메우기 위해 팀은 최근 오픈 소스 Vitron 범용 픽셀 수준 시각적 다중 모드 대형 언어 모델을 공동 출시했습니다. Vitron은 정적 이미지와 동적 비디오 콘텐츠에 대한 포괄적인 이해, 생성, 분할 및 편집을 포함하여 낮은 수준에서 높은 수준까지 시각적 이해부터 시각적 생성까지 일련의 시각적 작업을 지원합니다.

위 그림은 비트론의 비전과 관련된 4가지 주요 업무에 대한 기능적 지원과 주요 장점을 종합적으로 표현한 것입니다. Vitron은 또한 유연한 인간-기계 상호 작용을 달성하기 위해 사용자와의 지속적인 작업을 지원합니다. 이 프로젝트는 차세대 일반 비전 대형 모델의 궁극적인 형태를 위한 기반을 마련하면서 보다 통합된 비전 다중 모드 일반 모델에 대한 큰 잠재력을 보여줍니다.

Vitron 관련 논문, 코드, 데모가 모두 공개되었습니다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

궁극의 통합 다중 모드 대형 언어 모델

최근 몇 년 동안 대형 언어 모델(LLM)은 전례 없는 강력한 기능을 선보였으며 점차 AGI에 대한 기술적 경로로 검증되었습니다. 다중 모드 대형 언어 모델(Multimodal Large Language Models, MLLM)은 많은 커뮤니티에서 빠르게 발전하고 있으며 시각적 인식을 수행할 수 있는 모듈을 도입하여 순수 언어 기반 LLM을 MLLM으로 확장하여 이미지 이해 기능이 뛰어나게 개발되었습니다. . BLIP-2, LLaVA, MiniGPT-4 등과 같은 동시에 VideoChat, Video-LLaMA, Video-LLaVA 등과 같이 비디오 이해에 중점을 둔 MLLM도 출시되었습니다.

이후 연구자들은 MLLM의 기능을 2차원에서 더욱 확장하려고 주로 노력했습니다. 한편, 연구자들은 대략적인 인스턴스 수준 이해에서 이미지에 대한 픽셀 수준의 세밀한 이해로 전환하여 MLLM의 비전에 대한 이해를 심화시켜 GLaMM, PixelLM과 같은 시각적 영역 포지셔닝(Regional Grounding) 기능을 달성하려고 노력하고 있습니다. , NExT-Chat 및 MiniGPT-v2 등

한편, 연구자들은 MLLM이 지원할 수 있는 시각적 기능을 확장하려고 노력하고 있습니다. 일부 연구에서는 MLLM이 어떻게 입력 시각적 신호를 이해할 뿐만 아니라 출력 시각적 콘텐츠 생성을 지원하는지 연구하기 시작했습니다. 예를 들어 GILL 및 Emu와 같은 MLLM은 이미지 콘텐츠를 유연하게 생성할 수 있으며 GPT4Video 및 NExT-GPT는 비디오 생성을 실현합니다.

현재 인공지능 커뮤니티는 시각적 MLLM의 미래 트렌드가 필연적으로 고도로 통합되고 강력한 기능을 제공하는 방향으로 발전할 것이라는 점에 점차 공감대를 형성하고 있습니다. 그러나 커뮤니티에서 개발한 수많은 MLLM에도 불구하고 여전히 명확한 격차가 존재합니다.

1. 거의 모든 기존 시각적 LLM은 이미지와 비디오를 서로 다른 엔터티로 취급하며 이미지만 지원하거나 비디오만 지원합니다.

연구원들은 비전에는 정적 이미지와 동적 비디오가 모두 포함되어야 한다고 주장합니다. 둘 다 시각적 세계의 핵심 구성 요소이며 대부분의 시나리오에서 상호 교환될 수도 있습니다. 따라서 이미지와 비디오 형식을 모두 지원할 수 있는 통합 MLLM 프레임워크를 구축해야 합니다.

2. 현재 MLLM의 시각적 기능 지원은 아직 충분하지 않습니다.

대부분의 모델은 이미지나 비디오를 이해하거나 생성할 수만 있습니다. 연구자들은 미래의 MLLM이 광범위한 시각적 작업과 작업을 포괄하고 모든 비전 관련 작업에 대한 통합 지원을 달성하며 "모두를 위한 단일" 기능을 달성할 수 있는 일반적인 대규모 언어 모델이어야 한다고 믿습니다. 이는 실용적인 응용 프로그램, 특히 일련의 반복 및 대화형 작업이 포함되는 시각적 생성에 매우 중요합니다.

예를 들어, 사용자는 일반적으로 먼저 텍스트로 시작하여 빈센트 다이어그램을 통해 아이디어를 시각적 콘텐츠로 변환한 다음, 더욱 세밀한 이미지 편집을 통해 더 많은 세부 정보를 추가한 다음 이미지를 통해 비디오를 생성합니다. 동적 콘텐츠, 마지막으로 비디오 편집과 같은 여러 차례의 반복적인 상호 작용을 수행하여 창작물을 개선합니다.

위 표는 기존 Visual MLLM의 성능을 간단히 요약한 것입니다(대표적으로 일부 모델만 포함되어 있으며, 해당 내용은 미완입니다). 이러한 격차를 해소하기 위해 팀은 일반적인 픽셀 수준 시각적 MLLM인 Vitron을 제안합니다.

Vitron 시스템 아키텍처: 세 가지 핵심 모듈

Vitron의 전체 프레임워크는 아래 그림과 같습니다. Vitron은 1) 프런트 엔드 시각적 및 언어 인코딩 모듈, 2) 중앙 LLM 이해 및 텍스트 생성 모듈, 3) 시각적 제어를 위한 백엔드 사용자 응답 및 모듈 호출의 세 가지 핵심 부분을 포함하여 기존 관련 MLLM과 유사한 아키텍처를 채택합니다. 기준 치수.

프런트 엔드 모듈: Visual-Linguistic Coding

이미지 및 비디오 모달 신호를 인식하고 세분화된 사용자 시각적 입력을 지원하기 위해 Vitron은 이미지 인코더, 비디오 인코더, 영역 상자/스케치 인코더.

중앙 모듈: Core LLM

Vitron은 Vicuna(7B, v1.5)를 사용하여 이해, 추론, 의사 결정 및 여러 라운드의 사용자 상호 작용을 달성합니다.

백엔드 모듈: 사용자 응답 및 모듈 호출

Vitron은 텍스트 중심 호출 전략을 채택하고 여러 가지 강력하고 고급 SoTA(기성품) 이미지 및 비디오 처리 모듈을 통합합니다. 낮은 수준에서 높은 수준까지 다양한 시각적 터미널 작업을 디코딩하고 수행합니다. Vitron은 텍스트 중심의 모듈 통합 호출 방식을 채택하여 시스템 통합을 달성할 뿐만 아니라 정렬 효율성과 시스템 확장성을 보장합니다.

Vitron 모델 훈련의 세 가지 주요 단계

위의 아키텍처를 기반으로 Vitron은 강력한 시각적 이해 및 작업 실행 기능을 제공하도록 훈련되고 미세 조정됩니다. 모델 훈련에는 주로 세 가지 단계가 포함됩니다.

1단계: 시각-언어 전체 정렬 학습. 입력된 시각적 언어 특징은 통합된 특징 공간에 매핑되어 입력된 다중 모드 신호를 효과적으로 이해할 수 있습니다. 이는 시스템이 들어오는 시각적 신호를 전체적으로 효과적으로 처리할 수 있도록 하는 대략적인 시각적 언어 정렬 학습입니다. 연구원들은 교육을 위해 기존 이미지-캡션 쌍(CC3M), 비디오-캡션 쌍(Webvid) 및 지역 캡션 쌍(RefCOCO) 데이터 세트를 사용했습니다.

2단계: 세밀한 시공간 시각적 위치 지정 지침 미세 조정. 시스템은 외부 모듈을 사용하여 다양한 픽셀 수준의 시각적 작업을 수행하지만 LLM 자체는 세밀한 시각적 교육을 받지 않았으므로 시스템이 진정한 픽셀 수준의 시각적 이해를 달성하는 데 방해가 됩니다. 이를 위해 연구자들은 LLM이 이미지의 세밀한 공간성과 비디오의 특정 시간적 특성을 찾을 수 있도록 하는 세밀한 시공간 시각적 위치 지정 명령 미세 조정 훈련을 제안했습니다.

3단계: 출력 끝을 명령 호출로 미세 조정합니다. 위에 설명된 훈련의 두 번째 단계는 LLM 및 프런트 엔드 인코더에 픽셀 수준에서 비전을 이해하는 기능을 제공합니다. 이 마지막 단계인 명령 호출을 위한 명령 미세 조정의 목표는 시스템에 명령을 정확하게 실행할 수 있는 기능을 갖추어 LLM이 적절하고 올바른 호출 텍스트를 생성할 수 있도록 하는 것입니다. 다양한 터미널 비전 작업에는 다양한 호출 명령이 필요할 수 있으므로 이를 통합하기 위해 연구원은 LLM의 응답 출력을 다음을 포함하는 구조화된 텍스트 형식으로 표준화할 것을 제안했습니다.

1) 사용자 응답 출력, 사용자의 Enter

2) 수행할 기능이나 작업을 나타내는 모듈 이름입니다.

3) 작업 모듈의 메타 명령을 트리거하는 명령을 호출합니다.

4) 백엔드 모듈에 이 정보가 필요한 비디오 추적 또는 시각적 편집과 같은 특정 작업에 필요한 세분화된 시각적 기능을 지정하는 영역(선택적 출력)입니다. 영역의 경우 LLM의 픽셀 수준 이해를 기반으로 좌표로 설명되는 경계 상자가 출력됩니다.

평가 실험

연구원들은 Vitron을 기반으로 22개의 공통 벤치마크 데이터 세트와 12개의 이미지/비디오 비전 작업에 대해 광범위한 실험 평가를 수행했습니다. Vitron은 4가지 주요 시각적 작업 그룹(분할, 이해, 콘텐츠 생성 및 편집)에서 강력한 기능을 보여주는 동시에 유연한 인간-컴퓨터 상호 작용 기능을 갖추고 있습니다. 다음은 대표적인 정성적 비교 결과입니다.

Vision Segmentation

이미지 참조 이미지 분할 결과

Fine-grained Vision Understanding

결과 이미지 참조 표현 이해

비디오 QA 결과 - 비디오 생성

Vision Editing

이미지 편집 결과

부탁드립니다 더 자세한 실험 내용과 세부 사항은 논문을 참조하세요.

미래 방향 전망

일반적으로 이 작업은 통합된 시각적 다중 모드 일반 대형 모델을 개발하고 차세대 시각적 대형 모델 연구를 위한 새로운 형태를 마련하고 이러한 방향을 내딛을 수 있는 큰 잠재력을 보여줍니다. 연구팀이 제안한 비트론 시스템은 강력한 일반 성능을 보여주지만 여전히 한계를 안고 있다. 다음 연구자들은 앞으로 더 탐구될 수 있는 몇 가지 방향을 나열합니다.

시스템 아키텍처

Vitron 시스템은 여전히 ​​외부 도구를 호출하기 위해 반 연합, 반 에이전트 접근 방식을 사용합니다. 이 호출 기반 방법은 잠재적 모듈의 확장 및 교체를 용이하게 하지만 이 파이프라인 구조의 백엔드 모듈은 프런트엔드 및 LLM 핵심 모듈의 공동 학습에 참여하지 않는다는 의미이기도 합니다.

이 제한은 시스템의 전반적인 학습에 도움이 되지 않습니다. 즉, 다양한 시각적 작업의 성능 상한이 백엔드 모듈에 의해 제한된다는 의미입니다. 향후 작업은 다양한 비전 작업 모듈을 단일 단위로 통합해야 합니다. 단일 생성 패러다임을 통해 생성 및 편집 기능을 지원하면서 이미지와 비디오의 통일된 이해와 출력을 달성하는 것은 여전히 ​​어려운 과제입니다. 현재 유망한 접근 방식은 모듈식 영구 토큰화를 결합하여 다양한 입력 및 출력 및 다양한 작업에 대한 시스템 통합을 개선하는 것입니다.

사용자 상호작용

단일 비전 작업(예: Stable Diffusion 및 SEEM)에 중점을 둔 이전 모델과 달리 Vitron은 업계와 유사하게 LLM과 사용자 간의 깊은 상호 작용을 촉진하는 것을 목표로 합니다. OpenAI의 DALL 내에서 -E 시리즈, 미드저니 등 최적의 사용자 상호 작용을 달성하는 것이 이 작업의 핵심 목표 중 하나입니다.

Vitron은 기존 언어 기반 LLM을 활용하고 적절한 교육 조정을 결합하여 특정 수준의 상호 작용을 달성합니다. 예를 들어, 시스템은 사용자가 입력할 것으로 예상되는 모든 메시지에 유연하게 응답하고 사용자 입력이 백엔드 모듈 조건과 정확히 일치하도록 요구하지 않고도 해당 시각적 작업 결과를 생성할 수 있습니다. 그러나 이 작업은 상호작용성을 향상시키는 측면에서 여전히 개선의 여지가 많이 남아 있습니다. 예를 들어, 비공개 소스 Midjourney 시스템에서 영감을 얻어 LLM이 각 단계에서 어떤 결정을 내리더라도 시스템은 사용자에게 적극적으로 피드백을 제공하여 해당 작업과 결정이 사용자 의도와 일치하는지 확인해야 합니다.

모달 기능

현재 Vitron은 7B Vicuna 모델을 통합하고 있는데, 이는 언어, 이미지 및 비디오를 이해하는 능력에 특정 제한이 있을 수 있습니다. 향후 탐색 방향은 비전에 대한 보다 철저하고 포괄적인 이해를 달성하기 위해 모델의 규모를 확장하는 등 포괄적인 End-to-End 시스템을 개발하는 것일 수 있습니다. 또한 LLM이 이미지와 비디오 양식에 대한 이해를 완전히 통일할 수 있도록 노력해야 합니다.

위 내용은 Yan Shuicheng이 책임을 맡아 '유니버설 비주얼 멀티 모드 대형 모델'의 궁극적인 형태를 확립했습니다! 통일된 이해/생성/분할/편집의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!