대규모 언어 모델에 포괄적인 시청각 기능을 추가하는 DAMO Academy는 소스 Video-LLaMA를 공개합니다.
비디오는 오늘날의 소셜 미디어와 인터넷 문화에서 점점 더 중요한 역할을 하고 있으며 Douyin, Kuaishou, Bilibili 등은 수억 명의 사용자에게 인기 있는 플랫폼이 되었습니다. 사용자는 자신의 삶의 순간, 창작물, 흥미로운 순간, 기타 콘텐츠를 동영상을 중심으로 공유하여 다른 사람들과 교류하고 소통합니다.
최근에는 대규모 언어 모델이 인상적인 기능을 보여주었습니다. 대형 모델에 "눈"과 "귀"를 장착하여 비디오를 이해하고 사용자와 상호 작용할 수 있습니까?
이 문제에서 출발하여 DAMO 아카데미 연구진은 종합적인 시청각 기능을 갖춘 대형 모델인 Video-LLaMA를 제안했습니다. Video-LLaMA는 비디오의 비디오 및 오디오 신호를 인식하고 이해할 수 있으며 오디오/비디오 설명, 쓰기, 질문 및 답변 등과 같은 오디오 및 비디오를 기반으로 일련의 복잡한 작업을 완료하기 위한 사용자 입력 지침을 이해할 수 있습니다. 현재 논문, 코드, 대화형 데모가 모두 열려 있습니다. 또한 연구팀은 중국 사용자들의 원활한 경험을 위해 Video-LLaMA 프로젝트 홈페이지에서 중국어 버전의 모델도 제공하고 있다.
- 논문 링크: https://arxiv.org/abs/2306.02858
- 코드 주소: https://github.com/DAMO-NLP-SG/Video- LLaMA
- 데모 주소:
- Modelscope: https://modelscope.cn/studios/damo/video-llama/summary
- 껴안는 얼굴: https: //huggingface.co/spaces/DAMO-NLP-SG/Video-LLaMA
- 샘플 입력 파일 주소:
- https://www.php.cn/link/0fbce6c74ff376d18cb352e7fdc62 7 3b
모델 설계
Video-LLaMA는 모듈식 설계 원칙을 채택하여 비디오의 시각 및 청각 모달 정보를 대규모 언어 모델의 입력 공간에 매핑하여 모달 간 지침을 따르는 능력을 달성합니다. 정적 이미지 이해에 초점을 맞춘 이전 대형 모델 연구(MiNIGPT4, LLaVA)와 달리 Video-LLaMA는 비디오 이해에서 두 가지 과제에 직면해 있습니다. 즉, 비전의 동적 장면 변화를 캡처하고 시청각 신호를 통합하는 것입니다.
비디오의 역동적인 장면 변화를 포착하기 위해 Video-LLaMA는 플러그형 시각적 언어 브랜치를 도입했습니다. 이 분기는 먼저 BLIP-2의 사전 훈련된 이미지 인코더를 사용하여 이미지의 각 프레임의 개별 특징을 얻은 다음 이를 해당 프레임 위치 임베딩과 결합합니다. 모든 이미지 특징은 Video Q-Former 및 Video Q로 전송됩니다. - 이전에는 프레임 수준 이미지 표현을 집계하고 고정 길이 합성 비디오 표현을 생성합니다. 마지막으로 선형 레이어를 사용하여 비디오 표현을 대규모 언어 모델의 임베딩 공간에 정렬합니다.
비디오의 사운드 신호에 관해서 Video-LLaMA는 처리를 위해 오디오 언어 분기를 사용합니다. 먼저, 여러 개의 2초짜리 오디오 클립이 원본 비디오에서 균일하게 샘플링되고 각 클립이 128차원 멜 스펙트로그램으로 변환됩니다. 그런 다음 강력한 ImageBind를 오디오 인코더로 사용하여 각 사운드 클립의 특징을 개별적으로 추출합니다. 학습 가능한 위치 임베딩을 추가한 후 Audio Q-Former는 세그먼트 기능을 전체적으로 집계하고 고정 길이 오디오 기능을 생성합니다. 시각적 언어 분기와 유사하게 선형 레이어는 최종적으로 오디오 표현을 대규모 언어 모델의 임베딩 공간에 정렬하는 데 사용됩니다.
교육 비용을 줄이기 위해 Video-LLaMA는 사전 교육된 이미지/오디오 인코더를 동결하고 시각적 및 오디오 분기에서 비디오/오디오 Q-Former, 위치 인코딩 레이어 및 선형 레이어( 그림 1)과 같습니다.
비전과 텍스트 간의 정렬 관계를 학습하기 위해 저자는 먼저 대규모 비디오-텍스트 데이터세트(WebVid-2M)와 이미지-텍스트 데이터세트(CC-595K)를 사용하여 비전 브랜치를 사전 훈련했습니다. 그 후, 저자는 MiniGPT-4, LLaVA의 이미지 명령 데이터 세트와 Video-Chat의 비디오 명령 데이터 세트를 사용하여 더 나은 교차 모달 명령 추적 기능을 달성하기 위해 미세 조정했습니다.
오디오-텍스트 정렬 관계 학습에 관해서는 대규모 고품질 오디오-텍스트 데이터가 부족하기 때문에 저자는 이 목표를 달성하기 위한 해결 전략을 채택했습니다. 첫째, 오디오 언어 분기에서 학습 가능한 매개변수의 목표는 오디오 인코더의 출력을 LLM의 임베딩 공간에 정렬하는 것으로 이해될 수 있습니다. 오디오 인코더 ImageBind에는 다양한 양식의 임베딩을 공통 공간에 정렬할 수 있는 매우 강력한 다중 모드 정렬 기능이 있습니다. 따라서 저자는 시각적 텍스트 데이터를 사용하여 오디오 언어 분기를 훈련하고 ImageBind의 공통 임베딩 공간을 LLM의 텍스트 임베딩 공간에 정렬함으로써 LLM 텍스트 임베딩 공간 정렬에 대한 오디오 양식을 달성합니다. 이러한 영리한 방식으로 Video-LLaMA는 오디오 데이터에 대해 교육을 받은 적이 없더라도 추론 중에 오디오를 이해하는 능력을 보여줄 수 있습니다.
시연 예시
저자는 Video-LLaMA 영상/오디오/이미지 기반 대화의 몇 가지 예를 보여줍니다.
(1) 다음 두 가지 예는 Video-LLaMA의 시청각 종합 인식 기능을 보여줍니다. 예의 대화는 오디오 비디오를 중심으로 진행됩니다. 예시 2에서는 화면에는 출연자만 나오지만, 소리는 관객의 환호와 박수일 뿐입니다. 모델이 시각적인 신호만 받을 수 있다면 관객의 긍정적인 반응을 유추할 수 없을 것입니다. 오디오에는 악기 소리가 없습니다. 하지만 사진에는 색소폰이 있습니다. 모델이 청각 신호만 수신할 수 있다면 연주자가 색소폰을 연주했다는 사실을 알 수 없습니다.
(2) Video-LLaMA는 또한 정적 이미지에 대한 강력한 지각 이해 기능을 갖추고 있으며 그림 설명, 질문 및 답변 등과 같은 작업을 완료할 수 있습니다.
(3) 놀랍게도 Video-LLaMA는 유명한 명소와 인물을 성공적으로 식별하고 상식적인 질문과 답변을 수행할 수 있습니다. 예를 들어 아래의 VIdeo-LLaMA는 성공적으로 백악관을 식별하고 백악관의 상황을 소개했습니다. 또 다른 예는 Long Ma와 Jon Snow(고전 영화 및 TV 시리즈 "왕좌의 게임"의 등장인물)의 정지 사진을 입력하는 것입니다. VIdeo-LLaMA는 그들을 성공적으로 식별할 수 있을 뿐만 아니라 지속적으로 지속되는 그들의 관계에 대해서도 알려줄 수 있습니다. 편집하고 엉망으로 만들었습니다.
(4) Video-llama는 캣콜의 움직임, 보트의 방향 등 동영상에서 역동적인 이벤트도 포착할 수 있습니다.
요약
현재 오디오 및 비디오 이해는 여전히 성숙한 솔루션이 없는 매우 복잡한 연구 문제이지만, 저자는 또한 몇 가지 한계를 언급했습니다.
(1) 제한된 지각 능력: Video-LLaMA의 시각 및 청각 능력은 아직 상대적으로 초보적이며 복잡한 시각 및 청각 정보를 식별하기가 여전히 어렵습니다. 그 이유 중 하나는 데이터 세트의 품질과 크기가 충분하지 않기 때문입니다. 이 연구 그룹은 모델의 지각 능력을 향상시키기 위해 고품질 오디오-비디오-텍스트 정렬 데이터 세트를 구축하기 위해 열심히 노력하고 있습니다.
(2) 긴 동영상 처리의 어려움: 긴 동영상(영화, TV 프로그램 등)에는 많은 양의 정보가 포함되어 있어 모델에 대한 높은 추론 능력과 컴퓨팅 리소스가 필요합니다.
(3) Video-LLaMA에는 언어 모델 고유의 환각 문제가 여전히 존재합니다.
일반적으로 Video-LLaMA는 포괄적인 시청각 기능을 갖춘 대형 모델로서 오디오 및 비디오 이해 분야에서 인상적인 결과를 얻었습니다. 연구자들이 계속 열심히 노력함에 따라 위의 과제는 하나씩 극복되어 오디오 및 비디오 이해 모델이 폭넓은 실용적인 가치를 갖게 될 것입니다.
위 내용은 대규모 언어 모델에 포괄적인 시청각 기능을 추가하는 DAMO Academy는 소스 Video-LLaMA를 공개합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7532
15
1379
52
82
11
55
19
21
82
세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다.
May 07, 2024 pm 04:13 PM
기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.
AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 |
Apr 09, 2024 am 11:52 AM
AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.
Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다.
Apr 01, 2024 pm 07:46 PM
Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.
안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다
MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다.
Jun 01, 2024 pm 10:03 PM
이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은
공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것!
May 06, 2024 pm 04:13 PM
테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라
FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘
Apr 26, 2024 am 11:37 AM
표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.
단일 카드는 듀얼 카드보다 Llama를 70B 더 빠르게 실행합니다. Microsoft는 A100에 FP6을 넣었습니다 |
Apr 29, 2024 pm 04:55 PM
FP8 이하의 부동 소수점 수량화 정밀도는 더 이상 H100의 "특허"가 아닙니다! Lao Huang은 모든 사람이 INT8/INT4를 사용하기를 원했고 Microsoft DeepSpeed 팀은 NVIDIA의 공식 지원 없이 A100에서 FP6을 실행하기 시작했습니다. 테스트 결과에 따르면 A100에 대한 새로운 방법 TC-FPx의 FP6 양자화는 INT4에 가깝거나 때로는 더 빠르며 후자보다 정확도가 더 높은 것으로 나타났습니다. 또한 오픈 소스로 제공되고 DeepSpeed와 같은 딥 러닝 추론 프레임워크에 통합된 엔드투엔드 대규모 모델 지원도 있습니다. 이 결과는 대형 모델 가속화에도 즉각적인 영향을 미칩니다. 이 프레임워크에서는 단일 카드를 사용하여 Llama를 실행하면 처리량이 듀얼 카드보다 2.65배 더 높습니다. 하나
