목차
멀티모달 딥러닝 소개
장 소개​
기술 주변기기 일체 포함 NLP와 CV의 통합 혁신 분석: 최근 몇 년 동안 다중 모드 딥 러닝 살펴보기

NLP와 CV의 통합 혁신 분석: 최근 몇 년 동안 다중 모드 딥 러닝 살펴보기

Apr 11, 2023 pm 04:25 PM
모델 종이

최근 몇 년 동안 NLP 및 CV 분야는 방법 면에서 지속적인 혁신을 이루었습니다. 단일 모드 모델이 발전했을 뿐만 아니라 대규모 다중 모드 방법도 매우 인기 있는 연구 분야가 되었습니다.

NLP와 CV의 통합 혁신 분석: 최근 몇 년 동안 다중 모드 딥 러닝 살펴보기

  • 논문 주소: https://arxiv.org/pdf/2301.04856v1.pdf
  • 프로젝트 주소: https://github.com/slds-lmu/seminar_multimodal_ DL

최근 논문에서 연구원 Matthias Aßenmacher는 딥 러닝의 두 하위 분야에서 가장 진보된 연구 방법을 검토하고 포괄적인 개요를 제공하려고 노력했습니다. 또한 한 양식을 다른 양식으로 변환하기 위한 모델링 프레임워크(3.1장 및 3.2장)와 한 양식을 활용하여 다른 양식을 향상시키는 표현 학습 모델(3.3장 및 3.4장)에 대해 논의합니다. 연구자들은 두 가지 양식을 동시에 처리하는 데 초점을 맞춘 아키텍처를 도입하여 두 번째 부분을 마무리합니다(3.5장). 마지막으로, 이 문서에서는 통합 아키텍처에서 다양한 양식에 대한 다양한 작업을 처리할 수 있는 일반 다중 모드 모델(4.3장)뿐만 아니라 다른 양식(4.1장 및 4.2장)도 다루고 있습니다. 흥미로운 적용(“Generative Art”, 4.4장)이 이 리뷰의 핵심이 되었습니다.

논문 장의 목차는 다음과 같습니다.

NLP와 CV의 통합 혁신 분석: 최근 몇 년 동안 다중 모드 딥 러닝 살펴보기

멀티모달 딥러닝 소개

인간은 청각, 촉각, 후각, 미각, 미각의 5가지 기본 감각을 가지고 있습니다. 비전. 이 다섯 가지 모드를 통해 우리는 주변 세계를 인식하고 이해합니다. "멀티모달리티(Multimodality)"는 여러 정보 채널의 조합을 사용하여 주변 환경을 동시에 이해하는 것을 의미합니다. 예를 들어, 유아가 "고양이"라는 단어를 배울 때, 그들은 고양이를 가리키며 "야옹"과 같은 소리를 내는 등 다양한 방식으로 그 단어를 큰 소리로 말합니다. AI 연구자들은 인간의 학습 과정을 패러다임으로 사용하고 다양한 양식을 결합하여 딥 러닝 모델을 훈련합니다.

표면적으로 딥 러닝 알고리즘은 손실 함수를 최적화하도록 신경망을 훈련하여 정의된 목적 함수를 최적화합니다. 최적화, 즉 손실 최소화는 경사 하강법이라는 수치 최적화 절차를 통해 수행됩니다. 따라서 딥러닝 모델은 수치 입력만 처리할 수 있고 수치 출력만 생성할 수 있습니다. 그러나 다중 모드 작업에서는 이미지나 텍스트와 같은 구조화되지 않은 데이터를 자주 접하게 됩니다. 따라서 다중 모드 작업에 대한 첫 번째 질문은 입력을 수치적으로 표현하는 방법이며, 두 번째 질문은 다양한 양식을 적절하게 결합하는 방법입니다.

예를 들어 고양이 사진을 생성하기 위해 딥 러닝 모델을 훈련시키는 것이 일반적인 작업일 수 있습니다. 먼저, 컴퓨터는 텍스트 입력 "cat"을 이해한 다음 어떻게든 해당 정보를 특정 이미지로 변환해야 합니다. 따라서 입력 텍스트에 포함된 단어 간의 문맥적 관계와 출력 이미지에 포함된 픽셀 간의 공간적 관계를 파악하는 것이 필요합니다. 어린 아이에게는 쉬운 일이 컴퓨터에게는 큰 도전이 될 수 있습니다. 둘 다 동물의 의미와 외모를 포함하여 "고양이"라는 단어에 대해 어느 정도 이해하고 있어야 합니다.

현재 딥 러닝 분야의 일반적인 방법은 일부 잠재 공간에서 고양이를 벡터로 수치적으로 나타내는 임베딩을 생성하는 것입니다. 이를 달성하기 위해 최근에는 다양한 방법과 알고리즘 아키텍처가 개발되었습니다. 이 기사에서는 구조화되지 않은 데이터와 다양한 모달 입력의 조합으로 인해 발생하는 문제를 극복하기 위해 최첨단(SOTA) 다중 모드 딥 러닝에 사용되는 다양한 방법에 대한 개요를 제공합니다.

장 소개​

멀티모달 모델은 일반적으로 텍스트와 이미지를 입력 또는 출력으로 사용하므로 2장에서는 자연어 처리(NLP) 및 컴퓨터 비전(CV) 방법에 중점을 둡니다. NLP 분야의 방법은 주로 텍스트 데이터 처리에 중점을 두는 반면, CV는 주로 이미지 처리를 다룹니다.

NLP(섹션 2.1)에 대한 매우 중요한 개념은 단어 임베딩이라고 하며, 이는 현재 거의 모든 다중 모드 딥 러닝 아키텍처의 중요한 부분입니다. 이 개념은 또한 여러 NLP 작업에서 상당한 진전을 달성한 BERT와 같은 Transformer 기반 모델의 토대를 마련했습니다. 특히 Transformer의 self-attention 메커니즘은 NLP 모델을 완전히 변화시켰으며, 이것이 대부분의 NLP 모델이 Transformer를 코어로 사용하는 이유입니다.

컴퓨터 비전(섹션 2.2)에서 저자는 ResNet, EfficientNet, SimCLR 및 BYOL과 같은 다양한 네트워크 아키텍처를 소개합니다. 두 영역 모두에서 서로 다른 접근 방식을 비교하고 까다로운 벤치마크에서 이러한 접근 방식이 어떻게 수행되는지를 비교하는 것은 매우 흥미로운 일입니다. 따라서 2장의 끝 부분에 있는 하위 섹션 2.3에서는 CV 및 NLP에 대한 다양한 데이터 세트, 사전 훈련 작업 및 벤치마크에 대한 포괄적인 개요를 제공합니다.

3장에서는 텍스트와 이미지의 다양한 조합을 다루는 다양한 다중 모드 아키텍처에 중점을 두고 제안된 모델은 NLP 및 CV의 다양한 방법에 대한 연구를 결합하고 발전시킵니다. 먼저 Img2Text 작업(섹션 3.1), 개체 인식을 위한 Microsoft COCO 데이터 세트 및 이미지 캡처를 위한 Meshed-Memory Transformer를 소개합니다.

또한 연구원들은 짧은 텍스트 프롬프트를 기반으로 이미지를 생성하는 방법을 개발했습니다(섹션 3.2). 이 작업을 수행하는 첫 번째 모델은 GAN(Generative Adversarial Networks)과 VAE(Variational Autoencoders)였습니다. 최근 몇 년 동안 이러한 방법은 지속적으로 개선되었으며 오늘날의 SOTA Transformer 아키텍처와 DALL-E 및 GLIDE와 같은 텍스트 기반 확산 모델은 놀라운 결과를 얻었습니다. 또 다른 흥미로운 질문은 이미지를 활용하여 언어 모델을 지원하는 방법입니다(섹션 3.3). 이는 순차 임베딩, 고급 실제 임베딩을 통해 또는 Transformer 내부에서 직접 달성할 수 있습니다.

CLIP, ALIGN, Florence 등 텍스트 지원 CV 모델도 살펴보세요(섹션 3.4). 기본 모델의 사용은 모델 재사용(예: DALL-E 2의 CLIP)과 텍스트-이미지 연결의 대조적 손실을 의미합니다. 또한 제로샷을 사용하면 미세 조정을 통해 새로운 데이터와 보이지 않는 데이터를 쉽게 분류할 수 있습니다. 특히 지난해에는 이미지 분류 및 생성을 위한 오픈소스 아키텍처인 CLIP이 많은 주목을 받았다. 텍스트와 이미지를 동시에 처리하기 위한 다른 아키텍처는 3장의 끝부분(3.5절)에 소개됩니다.

예를 들어 Data2Sec는 음성, 시각 및 언어를 처리하는 데 동일한 학습 방법을 사용하고 하나의 아키텍처에서 다양한 양식을 처리하는 일반적인 방법을 찾으려고 노력합니다. 또한 VilBert는 공동 관심을 구현하여 이미지 및 텍스트 입력을 처리하도록 널리 사용되는 BERT 아키텍처를 확장합니다. 이 접근 방식은 Google의 Deepmind Flamingo에서도 사용됩니다. 또한 Flamingo는 사전 훈련된 비전 및 언어 모델의 프리샷 학습과 동결을 통해 단일 시각적 언어 모델로 여러 작업을 처리하는 것을 목표로 합니다.

마지막 장(4장)에서는 텍스트와 이미지 이외의 영상, 음성, 표 형식 데이터 등 양식을 처리할 수 있는 방법을 소개합니다. 전반적인 목표는 모달성을 위한 모달이 아닌 문제를 쉽게 처리할 수 있는 보편적인 다중 모달 아키텍처를 탐색하는 것입니다. 따라서 다중 모드 융합 및 정렬 문제를 처리하고 공동 표현을 사용할지 조정 표현을 사용할지 결정하는 것도 필요합니다(4.1절). 또한 구조화된 데이터와 구조화되지 않은 데이터의 정확한 조합에 대해 더 자세히 설명합니다(섹션 4.2).

저자는 또한 최근 몇 년 동안 개발된 다양한 통합 전략을 제안합니다. 이 기사에서는 생존 분석과 경제학의 두 가지 사용 사례를 통해 이를 설명합니다. 이 외에도 또 다른 흥미로운 연구 질문은 Google 연구원이 "경로" 모델에서 만든 것과 같은 소위 다목적 모델(섹션 4.3)에서 다양한 작업을 처리하는 방법입니다. 마지막으로 이 기사에서는 생성 예술 분야에서 예술 작품을 만들기 위해 DALL-E와 같은 이미지 생성 모델을 사용하여 예술 현장에서 다중 모드 딥 러닝의 일반적인 적용을 보여줍니다(섹션 4.4).

자세한 내용은 원문을 참고해주세요.

위 내용은 NLP와 CV의 통합 혁신 분석: 최근 몇 년 동안 다중 모드 딥 러닝 살펴보기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Apr 01, 2024 pm 07:46 PM

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 Apr 26, 2024 am 11:37 AM

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! 공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! May 06, 2024 pm 04:13 PM

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! Mar 21, 2024 pm 05:21 PM

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.

See all articles