기술 주변기기 일체 포함 다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

Feb 01, 2024 pm 05:15 PM
산업 희소 모델 대규모 시각적 언어 모델

대규모 시각적 언어 모델(LVLM)은 모델을 확장하여 성능을 향상시킬 수 있습니다. 그러나 매개변수 크기를 늘리면 각 토큰의 계산이 모든 모델 매개변수를 활성화하므로 훈련 및 추론 비용이 증가합니다.

북경 대학교, 쑨원 대학교 및 기타 기관의 연구원들은 다중 모달 학습 및 모델 희소성과 관련된 성능 저하 문제를 해결하기 위해 MoE-Tuning이라는 새로운 훈련 전략을 공동으로 제안했습니다. MoE-Tuning은 놀라운 수의 매개변수를 사용하지만 일정한 계산 비용을 사용하여 희소 모델을 구축할 수 있습니다. 또한 연구원들은 MoE-LLaVA 프레임워크라고 불리는 MoE 기반의 새로운 희소 LVLM 아키텍처도 제안했습니다. 이 프레임워크에서는 라우팅 알고리즘을 통해 상위 k명의 전문가만 활성화되고 나머지 전문가는 비활성 상태로 유지됩니다. 이러한 방식으로 MoE-LLaVA 프레임워크는 배포 프로세스 중에 전문가 네트워크의 리소스를 보다 효율적으로 활용할 수 있습니다. 이러한 연구 결과는 LVLM 모델의 다중 모드 학습 및 모델 희소성 문제를 해결하기 위한 새로운 솔루션을 제공합니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

  • 논문 주소: https://arxiv.org/abs/2401.15947

  • 프로젝트 주소: https://github.com/PKU-YuanGroup/MoE-LLaVA

  • 데모 주소: https://huggingface.co/spaces/LanguageBind/MoE-LLaVA

  • 논문 제목: MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

MoE-LLaVA에는 3B 희소 활성화 매개변수, 성능만 있습니다. 그러나 다양한 시각적 이해 데이터 세트에서는 LLaVA-1.5-7B와 동일하며, 객체 환상 벤치마크 테스트에서는 LLaVA-1.5-13B를 능가하기도 합니다. MoE-LLaVA를 통해 이 연구는 희소 LVLM에 대한 벤치마크를 확립하고 보다 효율적이고 효과적인 다중 모드 학습 시스템을 개발하기 위한 향후 연구에 귀중한 통찰력을 제공하는 것을 목표로 합니다. MoE-LLaVA 팀은 모든 데이터, 코드 및 모델을 공개했습니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

그림 1 MoE-LLaVA와 다른 LVLM의 환각 성능 비교

방법 소개

MoE-LLaVA는 무대 훈련 전략. 그림 2에서 볼 수 있듯이 비전 인코더는 입력 이미지를 처리하여 시각적 토큰 시퀀스를 얻습니다. 투영 레이어는 시각적 토큰을 LLM이 허용하는 차원으로 매핑하는 데 사용됩니다. 마찬가지로, 이미지와 쌍을 이루는 텍스트는 단어 임베딩 레이어를 통해 투영되어 시퀀스 텍스트 토큰을 얻습니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

1단계: 그림 2에 표시된 것처럼 1단계의 목표는 시각적 토큰을 LLM에 적용하고 LLM에 그림의 엔터티를 이해할 수 있는 기능을 제공하는 것입니다. MoE-LLaVA는 MLP를 사용하여 이미지 토큰을 LLM의 입력 도메인에 투영합니다. 이는 작은 이미지 패치가 LLM에 의해 의사 텍스트 토큰으로 처리된다는 것을 의미합니다. 이 단계에서 LLM은 이미지를 설명하고 더 높은 수준의 이미지 의미를 이해하도록 훈련됩니다. 이 단계에서는 MoE 레이어가 LVLM에 적용되지 않습니다.
그림 3 보다 구체적인 훈련 프레임워크 및 훈련 전략

2단계: 다중 모드 명령 데이터를 사용하여 미세 조정하는 것은 대형 모델의 기능과 제어 가능성을 향상시키는 핵심 기술이며, 현 단계에서는 LLM LVLM은 다중 모드 이해를 위해 조정되었습니다. 이 단계에서 연구는 그림 논리적 추론 및 텍스트 인식과 같은 고급 작업을 포함하여 보다 복잡한 지침을 추가하며, 이를 위해서는 모델에 더 강력한 다중 모드 이해 기능이 필요합니다. 일반적으로 Dense 모델의 LVLM은 이 시점에서 훈련됩니다. 그러나 연구팀은 LLM을 LVLM으로 변환하는 동시에 모델을 Sparsing하는 것이 어렵다는 것을 발견했습니다. 따라서 MoE-LLaVA에서는 희소 모델 학습의 어려움을 줄이기 위해 두 번째 단계의 가중치를 세 번째 단계의 초기화로 사용합니다.

3단계: MoE-LLaVA는 FFN의 여러 사본을 전문가 세트의 초기화 가중치로 복사합니다. 시각적 토큰과 텍스트 토큰이 MoE 계층에 공급되면 라우터는 각 토큰과 전문가의 일치 가중치를 계산한 다음 각 토큰은 처리를 위해 가장 일치하는 상위 k 전문가에게 전송됩니다. 라우터의 가중치 가중치 합계가 출력에 집계됩니다. Top-k 전문가가 활성화되면 나머지 전문가는 비활성 상태로 유지되며 이 모델은 가능한 희소 경로가 무한한 MoE-LLaVA를 구성합니다.

Experiment

그림 4에서 볼 수 있듯이 MoE-LLaVA는 소프트 라우터가 장착된 LVLM 기반의 최초의 Sparse 모델이므로 본 연구에서는 이전 모델을 Dense 모델로 정리합니다. 연구팀은 5개의 이미지 질의응답 벤치마크에서 MoE-LLaVA의 성능을 검증하고, 활성화된 매개변수의 양과 이미지 해상도를 보고했다. SOTA 방법 LLaVA-1.5와 비교하여 MoE-LLaVA-2.7B×4는 강력한 이미지 이해 기능을 보여 주며 5개 벤치마크에서 성능이 LLaVA-1.5에 매우 가깝습니다. 그중 MoE-LLaVA는 3.6B 희소 활성화 매개변수를 사용하며 SQAI의 LLaVA-1.5-7B를 1.9% 초과합니다. MoE-LLaVA의 희박한 구조로 인해 IDEFICS-80B를 완전히 능가하려면 2.6B 활성화 매개변수만 필요하다는 점은 주목할 가치가 있습니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

그림 4 9개 벤치마크에서 MoE-LLaVA의 성능

또한 연구팀은 최근 소형 시각 언어 모델인 TinyGPT-V, MoE-LLaVA-1.8B에도 주목했습니다. × 4는 유사한 활성화 매개변수 하에서 GQA 및 VisWiz에서 각각 27.5% 및 10%만큼 TinyGPT-V를 초과하며, 이는 자연 시력에 대한 MoE-LLaVA의 강력한 이해 능력을 나타냅니다.

본 연구에서는 MoE-LLaVA의 다중 모드 이해 능력을 보다 종합적으로 검증하기 위해 4가지 벤치마크 툴킷에서 모델 성능을 평가했습니다. 벤치마크 툴킷은 모델이 자연어로 질문에 답할 수 있는지 확인하기 위한 툴킷입니다. 일반적으로 답변은 공개되어 있으며 고정된 템플릿이 없습니다. 그림 4에서 볼 수 있듯이 MoE-LLaVA-1.8B×4는 더 큰 이미지 해상도를 사용하는 Qwen-VL보다 성능이 뛰어납니다. 이러한 결과는 희소 모델인 MoE-LLaVA가 더 적은 활성화 매개변수를 사용하여 밀도 모델과 비슷하거나 심지어 이를 초과하는 성능을 달성할 수 있음을 보여줍니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

그림 5 환상 물체 감지에 대한 MoE-LLaVA 성능 평가

이 연구에서는 POPE 평가 파이프라인을 사용하여 MoE-LLaVA의 물체 환상을 검증합니다. 결과는 그림 5에 나와 있습니다. MoE-LLaVA는 최고의 성능을 나타냅니다. 이는 MoE-LLaVA가 주어진 이미지와 일치하는 개체를 생성하는 경향이 있음을 의미합니다. 특히 MoE-LLaVA-1.8B×4는 활성화 매개변수 2.2B로 LLaVA를 능가했습니다. 또한 연구팀은 MoE-LLaVA의 yes 비율이 상대적으로 균형 잡힌 상태에 있음을 관찰했는데, 이는 희소 모델 MoE-LLaVA가 문제를 기반으로 정확한 피드백을 할 수 있음을 보여줍니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

그림 6 전문가 부하 시각화

그림 6은 ScienceQA의 MoE-LLaVA-2.7B×4-Top2 전문가 부하를 보여줍니다. 전반적으로 훈련 초기화 동안 모든 MoE 계층의 전문가 로드는 상대적으로 균형을 이룹니다. 그러나 모델이 점차 희소화되면서 레이어 17~27에 대한 전문가의 부하가 갑자기 증가하고 심지어 거의 모든 토큰을 포괄합니다. 얕은 레이어 5~11의 경우 전문가 2, 3, 4가 주로 함께 작업합니다. 전문가 1은 거의 레이어 1-3에서만 작동하며 모델이 깊어짐에 따라 작업에서 점차적으로 제외된다는 점은 주목할 가치가 있습니다. 따라서 MoE-LLaVA 전문가들은 특정 규칙에 따라 전문가의 업무 분업을 가능하게 하는 특정 패턴을 학습했습니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

그림 7 모달 분포 시각화

그림 7은 다양한 전문가의 모달 분포를 보여줍니다. 연구 결과, 텍스트와 이미지의 라우팅 분포가 매우 유사한 것으로 나타났습니다. 예를 들어 전문가 3이 레이어 17~27에서 열심히 작업하면 처리되는 텍스트와 이미지의 비율이 유사합니다. 이는 MoE-LLaVA가 양식에 대한 명확한 선호가 없음을 보여줍니다.

이 연구는 또한 토큰 수준에서 전문가의 행동을 관찰하고 다운스트림 작업에서 희소 네트워크에 있는 모든 토큰의 궤적을 추적했습니다. 텍스트와 이미지의 모든 활성화된 경로에 대해 본 연구에서는 그림 8과 같이 PCA를 사용하여 차원을 줄여 주요 10개 경로를 얻었습니다. 연구팀은 보이지 않는 텍스트 토큰이나 이미지 토큰의 경우 MoE-LLaVA는 모델의 깊이를 처리하기 위해 항상 전문가 2, 3을 파견하는 것을 선호한다는 사실을 발견했습니다. 전문가 1과 4는 초기화된 토큰을 다루는 경향이 있습니다. 이러한 결과는 다중 모드 학습에서 희소 모델의 동작을 더 잘 이해하고 알려지지 않은 가능성을 탐색하는 데 도움이 될 수 있습니다.

다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.

그림 8 활성화 경로 시각화

위 내용은 다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

딥마인드 로봇이 탁구를 치는데 포핸드와 백핸드가 공중으로 미끄러져 인간 초보자를 완전히 제압했다. 딥마인드 로봇이 탁구를 치는데 포핸드와 백핸드가 공중으로 미끄러져 인간 초보자를 완전히 제압했다. Aug 09, 2024 pm 04:01 PM

하지만 공원에 있는 노인을 이길 수는 없을까요? 파리올림픽이 본격화되면서 탁구가 많은 주목을 받고 있다. 동시에 로봇은 탁구 경기에서도 새로운 돌파구를 마련했습니다. 방금 DeepMind는 탁구 경기에서 인간 아마추어 선수 수준에 도달할 수 있는 최초의 학습 로봇 에이전트를 제안했습니다. 논문 주소: https://arxiv.org/pdf/2408.03906 DeepMind 로봇은 탁구를 얼마나 잘 치나요? 아마도 인간 아마추어 선수들과 동등할 것입니다: 포핸드와 백핸드 모두: 상대는 다양한 플레이 스타일을 사용하고 로봇도 견딜 수 있습니다: 다양한 스핀으로 서브를 받습니다. 그러나 게임의 강도는 그만큼 강렬하지 않은 것 같습니다. 공원에 있는 노인. 로봇용, 탁구용

클로드도 게으르게 됐어요! 네티즌 : 휴가를 보내는 법을 배우십시오 클로드도 게으르게 됐어요! 네티즌 : 휴가를 보내는 법을 배우십시오 Sep 02, 2024 pm 01:56 PM

개학이 코앞으로 다가왔습니다. 새 학기를 앞둔 학생들뿐만 아니라 대형 AI 모델도 스스로 관리해야 합니다. 얼마 전 레딧에는 클로드가 게으르다고 불평하는 네티즌들이 붐볐습니다. "레벨이 많이 떨어졌고, 자주 멈췄고, 심지어 출력도 매우 짧아졌습니다. 출시 첫 주에는 4페이지 전체 문서를 한 번에 번역할 수 있었지만 지금은 반 페이지도 출력하지 못합니다. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ "클로드에게 완전히 실망했습니다"라는 제목의 게시물에

최초의 기계식 발톱! Yuanluobao는 2024년 세계 로봇 회의에 등장하여 집에 들어갈 수 있는 최초의 체스 로봇을 출시했습니다. 최초의 기계식 발톱! Yuanluobao는 2024년 세계 로봇 회의에 등장하여 집에 들어갈 수 있는 최초의 체스 로봇을 출시했습니다. Aug 21, 2024 pm 07:33 PM

8월 21일, 2024년 세계로봇대회가 베이징에서 성대하게 개최되었습니다. SenseTime의 홈 로봇 브랜드 "Yuanluobot SenseRobot"은 전체 제품군을 공개했으며, 최근에는 Yuanluobot AI 체스 두는 로봇인 체스 프로페셔널 에디션(이하 "Yuanluobot SenseRobot")을 출시하여 세계 최초의 A 체스 로봇이 되었습니다. 집. Yuanluobo의 세 번째 체스 게임 로봇 제품인 새로운 Guoxiang 로봇은 AI 및 엔지니어링 기계 분야에서 수많은 특별한 기술 업그레이드와 혁신을 거쳤으며 처음으로 3차원 체스 말을 집는 능력을 실현했습니다. 가정용 로봇의 기계 발톱을 통해 체스 게임, 모두 체스 게임, 기보 복습 등과 같은 인간-기계 기능을 수행합니다.

세계로봇컨퍼런스에서 '미래 노인돌봄의 희망'을 담은 국산 로봇이 포위됐다. 세계로봇컨퍼런스에서 '미래 노인돌봄의 희망'을 담은 국산 로봇이 포위됐다. Aug 22, 2024 pm 10:35 PM

베이징에서 열린 세계로봇컨퍼런스에서는 휴머노이드 로봇의 전시가 현장의 절대 화두가 됐다. 스타더스트 인텔리전트 부스에서는 AI 로봇 어시스턴트 S1이 덜시머, 무술, 서예 3대 퍼포먼스를 선보였다. 문학과 무술을 모두 갖춘 하나의 전시 공간은 수많은 전문 관객과 미디어를 끌어 모았습니다. 탄력 있는 현의 우아한 연주를 통해 S1은 정밀한 작동과 속도, 힘, 정밀성을 갖춘 절대적인 제어력을 보여줍니다. CCTV 뉴스는 '서예'의 모방 학습 및 지능형 제어에 대한 특별 보도를 진행했습니다. 회사 설립자 Lai Jie는 부드러운 움직임 뒤에 하드웨어 측면이 최고의 힘 제어와 가장 인간과 유사한 신체 지표(속도, 하중)를 추구한다고 설명했습니다. 등)이지만 AI측에서는 사람의 실제 움직임 데이터를 수집해 로봇이 강한 상황에 직면했을 때 더욱 강해지고 빠르게 진화하는 방법을 학습할 수 있다. 그리고 민첩하다

Li Feifei 팀은 로봇에 공간 지능을 제공하고 GPT-4o를 통합하기 위해 ReKep을 제안했습니다. Li Feifei 팀은 로봇에 공간 지능을 제공하고 GPT-4o를 통합하기 위해 ReKep을 제안했습니다. Sep 03, 2024 pm 05:18 PM

비전과 로봇 학습의 긴밀한 통합. 최근 화제를 모으고 있는 1X 휴머노이드 로봇 네오(NEO)와 두 개의 로봇 손이 원활하게 협력해 옷 개기, 차 따르기, 신발 싸기 등을 하는 모습을 보면 마치 로봇 시대로 접어들고 있다는 느낌을 받을 수 있다. 실제로 이러한 부드러운 움직임은 첨단 로봇 기술 + 정교한 프레임 디자인 + 다중 모드 대형 모델의 산물입니다. 우리는 유용한 로봇이 종종 환경과 복잡하고 절묘한 상호작용을 요구한다는 것을 알고 있으며, 환경은 공간적, 시간적 영역에서 제약으로 표현될 수 있습니다. 예를 들어, 로봇이 차를 따르도록 하려면 먼저 로봇이 찻주전자 손잡이를 잡고 차를 흘리지 않고 똑바로 세운 다음, 주전자 입구와 컵 입구가 일치할 때까지 부드럽게 움직여야 합니다. 을 누른 다음 주전자를 특정 각도로 기울입니다. 이것

ACL 2024 시상식 발표: HuaTech의 Oracle 해독에 관한 최고의 논문 중 하나, GloVe Time Test Award ACL 2024 시상식 발표: HuaTech의 Oracle 해독에 관한 최고의 논문 중 하나, GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

참가자들은 이번 ACL 컨퍼런스에서 많은 것을 얻었습니다. ACL2024는 6일간 태국 방콕에서 개최됩니다. ACL은 전산언어학 및 자연어 처리 분야 최고의 국제학술대회로 국제전산언어학회(International Association for Computational Linguistics)가 주최하고 매년 개최된다. ACL은 NLP 분야에서 학술 영향력 1위를 항상 차지하고 있으며, CCF-A 추천 컨퍼런스이기도 합니다. 올해로 62회째를 맞이하는 ACL 컨퍼런스에는 NLP 분야의 최신 저서가 400편 이상 접수됐다. 어제 오후 컨퍼런스에서는 최우수 논문과 기타 상을 발표했습니다. 이번에 최우수논문상 7개(미출판 2개), 우수주제상 1개, 우수논문상 35개가 있다. 이 컨퍼런스에서는 또한 3개의 리소스 논문상(ResourceAward)과 사회적 영향상(Social Impact Award)을 수상했습니다.

홍멍 스마트 트래블 S9과 풀시나리오 신제품 출시 컨퍼런스, 다수의 블록버스터 신제품이 함께 출시됐다 홍멍 스마트 트래블 S9과 풀시나리오 신제품 출시 컨퍼런스, 다수의 블록버스터 신제품이 함께 출시됐다 Aug 08, 2024 am 07:02 AM

오늘 오후 Hongmeng Zhixing은 공식적으로 새로운 브랜드와 신차를 환영했습니다. 8월 6일, Huawei는 Hongmeng Smart Xingxing S9 및 Huawei 전체 시나리오 신제품 출시 컨퍼런스를 개최하여 파노라마식 스마트 플래그십 세단 Xiangjie S9, 새로운 M7Pro 및 Huawei novaFlip, MatePad Pro 12.2인치, 새로운 MatePad Air, Huawei Bisheng을 선보였습니다. 레이저 프린터 X1 시리즈, FreeBuds6i, WATCHFIT3 및 스마트 스크린 S5Pro를 포함한 다양한 새로운 올-시나리오 스마트 제품, 스마트 여행, 스마트 오피스, 스마트 웨어에 이르기까지 화웨이는 풀 시나리오 스마트 생태계를 지속적으로 구축하여 소비자에게 스마트한 경험을 제공합니다. 만물인터넷. Hongmeng Zhixing: 스마트 자동차 산업의 업그레이드를 촉진하기 위한 심층적인 권한 부여 화웨이는 중국 자동차 산업 파트너와 손을 잡고

중국 최초 대형 UI 모델 출시! Motiff의 대형 모델은 디자이너를 위한 최고의 어시스턴트를 생성하고 UI 디자인 워크플로우를 최적화합니다. 중국 최초 대형 UI 모델 출시! Motiff의 대형 모델은 디자이너를 위한 최고의 어시스턴트를 생성하고 UI 디자인 워크플로우를 최적화합니다. Aug 19, 2024 pm 04:48 PM

인공지능은 생각보다 빠르게 발전하고 있습니다. GPT-4가 다중 모드 기술을 대중의 시선에 도입한 이후 다중 모드 대형 모델은 급속한 개발 단계에 진입하여 순수 모델 연구 및 개발에서 수직 분야의 탐색 및 적용으로 점차 전환하고 모든 계층과 깊이 통합되었습니다. 인터페이스 상호작용 분야에서는 구글, 애플 등 국제 기술 대기업들이 대형 멀티모달 UI 모델 연구개발에 투자해 왔으며, 이는 휴대폰 AI 혁명의 유일한 길로 평가받고 있다. 이러한 맥락에서 중국 최초의 대규모 UI 모델이 탄생했습니다. 지난 8월 17일 IXDC2024 국제 경험 디자인 컨퍼런스에서 AI 시대의 디자인 도구인 Motiff가 자체 개발한 UI 멀티모달 모델인 Motiff 모델을 출시했습니다. 이것은 세계 최초의 UI 디자인 도구입니다.

See all articles