8개 언어로 공통적으로 사용되는 280만 개의 다중 모드 명령-응답 쌍, 비디오 콘텐츠를 다루는 최초의 명령 데이터 세트 MIMIC-IT 출시
최근 AI 대화 도우미는 언어 작업에서 상당한 발전을 이루었습니다. 이러한 상당한 개선은 LLM의 강력한 일반화 능력을 기반으로 할 뿐만 아니라 명령 조정에도 기여해야 합니다. 여기에는 다양하고 수준 높은 교육을 통해 다양한 업무에 대한 LLM을 미세 조정하는 것이 포함됩니다.
명령어 튜닝으로 제로샷 성능을 달성하는 잠재적인 이유 중 하나는 컨텍스트를 내부화하기 때문입니다. 이는 사용자 입력이 상식적인 맥락을 건너뛸 때 특히 중요합니다. LLM은 명령 튜닝을 통합함으로써 사용자 의도에 대한 높은 수준의 이해를 얻고 이전에 볼 수 없었던 작업에서도 더 나은 제로샷 기능을 보여줍니다.
그러나 이상적인 AI 대화 도우미는 여러 양식과 관련된 작업을 해결할 수 있어야 합니다. 이를 위해서는 데이터 세트에 따라 다양하고 고품질의 다중 모드 명령을 획득해야 합니다. 예를 들어, LLaVAInstruct-150K 데이터세트(LLaVA라고도 함)는 데이터세트에 이어 일반적으로 사용되는 시각적-언어적 명령으로, GPT-4 Constructed에서 얻은 이미지 캡션 및 대상 경계 상자를 기반으로 하는 COCO 이미지, 지침 및 응답을 사용합니다. 그러나 LLaVA-Instruct-150K에는 제한된 시각적 다양성, 단일 시각적 데이터로 그림을 사용하는 것, 언어 형태만 포함하는 상황별 정보라는 세 가지 제한 사항이 있습니다.
AI 대화 도우미가 이러한 한계를 극복할 수 있도록 촉진하기 위해 싱가포르 난양기술대학의 학자들과 Microsoft Research Redmond는 280만 개의 다중 모드 상황 항목을 포함하는 다중 모드 상황별 명령 튜닝 데이터 세트 MIMIC-IT를 제안했습니다. 지침 - 다양한 실제 시나리오를 다루는 해당 쌍의 데이터세트입니다.
논문 주소: https://arxiv.org/pdf/2306.05425.pdf
또한 연구원은 명령-응답 쌍을 효율적으로 생성하기 위해 "Sythus"도 도입했습니다. " , 주석에 응답하는 자동화된 파이프라인인 self-instruct 방법에서 영감을 받은 명령입니다. Sythus는 시스템 정보, 시각적 주석 및 상황에 맞는 예제를 사용하여 언어 모델(GPT-4 또는 ChatGPT)을 안내하여 시각적 컨텍스트를 기반으로 명령-응답 쌍을 생성하고 시각적 언어 모델의 세 가지 기본 기능인 인식, 추론 및 이해를 목표로 합니다. 계획. 또한, 영어 명령과 응답을 7개국어로 번역해 다국어 사용을 지원한다.
연구원들이 MIMIC-IT에서 OpenFlamingo를 기반으로 하는 다중 모드 모델 "Otter"를 훈련시킨 것은 특히 주목할 만합니다. ChatGPT와 인간 모두에서 평가된 Otter의 다중 모드 기능은 다른 최신 시각적 언어 모델을 능가합니다.
일련의 데모에서 연구원들은 Otter의 다중 모드 질문 및 답변 기능을 시연했습니다.
Q: 다음에 어떤 카드를 사용할 것인가?
A: 튜브 8개. 이렇게 하면 4번과 5번이 직선을 기다리게 할 수 있습니다.
Q: 착륙하고 싶은데 어떻게 해야 하나요?
A: 왼쪽 하단 버튼을 한 번 누르면 좌회전하고, 착륙하려면 오른쪽 핸드 브레이크를 당기세요.
Q: 다음은 무엇인가요?
A: 공을 중앙으로 패스하고 골대를 향해 달려가 득점 기회를 노립니다.
다음으로 연구 내용을 살펴보겠습니다.
MIMIC-IT 데이터 세트
MIMIC-IT 데이터 세트에는 인식, 추론, 계획 등 기본 기능을 다루는 280만 개의 다중 모드 명령-응답 쌍이 포함되어 있습니다. 각 지침에는 다중 모달 대화 컨텍스트가 수반되므로 MIMIC-IT에서 교육받은 VLM이 대화형 지침에 대한 우수한 숙련도를 입증하고 제로샷 일반화를 수행할 수 있습니다.
LLaVA와 비교하여 MIMIC-IT의 특징은 다음과 같습니다.
(1) 일반 장면, 자기 중심적 관점 장면 및 실내 RGB-D 이미지 등을 포함한 다양한 시각적 장면 이미지 및 다양한 데이터 세트의 비디오
(2) 시각적 데이터인 여러 이미지(또는 하나의 비디오)
(3) 여러 명령-응답 쌍 및 여러 이미지 또는 비디오를 포함한 다중 모드 상황 정보;
(4)는 영어, 중국어, 스페인어, 일본어, 프랑스어, 독일어, 한국어, 아랍어 등 8개 언어를 지원합니다.다음 그림은 둘의 명령-응답 비교를 추가로 보여줍니다(노란색 상자는 LLaVA입니다).
Sythus: 자동화된 명령-응답 쌍 생성 파이프라인
코어 세트의 품질이 후속 데이터 수집 프로세스에 영향을 미치기 때문에 연구원들은 대규모 쿼리 전에 컨텍스트에 맞게 샘플을 향상시키기 위해 콜드 스타트 전략을 채택했습니다. 콜드 스타트 단계에서는 ChatGPT가 시스템 정보와 시각적 주석을 통해서만 상황에 맞는 샘플을 수집하도록 유도하기 위해 휴리스틱 접근 방식이 사용됩니다. 이 단계는 만족스러운 맥락의 샘플이 식별된 후에만 종료됩니다. 네 번째 단계에서 명령-응답 쌍이 확보되면 파이프라인은 이를 중국어(zh), 일본어(ja), 스페인어(es), 독일어(de), 프랑스어(fr), 한국어(ko) 및 아랍어로 확장합니다. (ar). 자세한 내용은 부록 C에서 확인할 수 있으며 특정 작업 프롬프트는 부록 D에서 확인할 수 있습니다.
그림 5는 다양한 시나리오에서 Otter의 반응 예입니다. MIMIC-IT 데이터 세트에 대한 교육 덕분에 Otter는 상황에 따른 이해 및 추론, 상황에 맞는 샘플 학습, 자기중심적인 시각적 보조 기능을 제공할 수 있습니다. 
마지막으로 연구원들은 일련의 벤치마크 테스트에서 Otter와 다른 VLM의 성능을 비교 분석했습니다.
ChatGPT 평가
아래 표 2는 MMAGIBench 프레임워크를 사용하는 시각적 언어 모델의 인식 및 추론 기능에 대한 연구자의 광범위한 평가를 보여줍니다[43].
인간 평가
Multi-Modality Arena[32]는 Elo 등급 시스템을 사용하여 VLM 응답의 유용성과 일관성을 평가합니다. 그림 6(b)는 Otter가 뛰어난 실용성과 일관성을 보여 최근 VLM에서 가장 높은 Elo 등급을 달성했음을 보여줍니다.
Few-shot 상황 학습 벤치마크 평가
Otter는 다중 모드 상황 학습을 위해 설계된 아키텍처인 OpenFlamingo에서 미세 조정되었습니다. MIMIC-IT 데이터 세트를 사용하여 미세 조정한 후 Otter는 COCO Captioning(CIDEr) [27] 소수 샷 평가에서 OpenFlamingo보다 훨씬 뛰어난 성능을 보였습니다(그림 6 (c) 참조). 예상한 대로 미세 조정은 제로 샘플 평가에서도 약간의 성능 향상을 가져옵니다.
그림 6: ChatGPT 비디오 이해도 평가.
결점을
토론하세요. 연구원들이 시스템 메시지와 명령-응답 예제를 반복적으로 개선했지만 ChatGPT는 언어 환각에 취약하므로 잘못된 응답을 생성할 수 있습니다. 보다 안정적인 언어 모델에는 자체 지시 데이터 생성이 필요한 경우가 많습니다.
일의 미래. 앞으로 연구원들은 LanguageTable 및 SayCan과 같은 보다 구체적인 AI 데이터 세트를 지원할 계획입니다. 연구자들은 또한 명령어 세트를 개선하기 위해 보다 신뢰할 수 있는 언어 모델이나 생성 기술을 사용하는 것을 고려하고 있습니다.
위 내용은 8개 언어로 공통적으로 사용되는 280만 개의 다중 모드 명령-응답 쌍, 비디오 콘텐츠를 다루는 최초의 명령 데이터 세트 MIMIC-IT 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7529
15
1378
52
81
11
54
19
21
75
Terraria에서 명령을 사용하여 아이템을 얻는 방법은 무엇입니까? -테라리아에서 아이템을 수집하는 방법은 무엇인가요?
Mar 19, 2024 am 08:13 AM
Terraria에서 명령을 사용하여 아이템을 얻는 방법은 무엇입니까? 1. 테라리아에서 아이템을 주는 명령은 무엇인가요? 테라리아 게임에서 아이템에 명령을 내리는 것은 매우 실용적인 기능입니다. 이 명령을 통해 플레이어는 몬스터와 싸우거나 특정 위치로 순간이동할 필요 없이 필요한 아이템을 직접 얻을 수 있습니다. 이를 통해 시간을 크게 절약하고, 게임 효율성을 향상시키며, 플레이어가 세계를 탐험하고 건설하는 데 더 집중할 수 있습니다. 전반적으로 이 기능은 게임 경험을 더 부드럽고 즐겁게 만듭니다. 2. Terraria를 사용하여 아이템 명령을 내리는 방법 1. 게임을 열고 게임 인터페이스로 들어갑니다. 2. 키보드의 "Enter" 키를 눌러 채팅창을 엽니다. 3. 채팅창에 "/give[플레이어 이름][아이템 ID][아이템 수량]" 명령 형식을 입력하세요.
PyTorch를 사용한 퓨샷 학습을 통한 이미지 분류
Apr 09, 2023 am 10:51 AM
최근 몇 년 동안 딥러닝 기반 모델은 객체 감지, 이미지 인식 등의 작업에서 좋은 성능을 발휘했습니다. 1,000개의 서로 다른 개체 분류가 포함된 ImageNet과 같은 까다로운 이미지 분류 데이터 세트에서 일부 모델은 이제 인간 수준을 초과합니다. 그러나 이러한 모델은 감독된 훈련 프로세스에 의존하고, 레이블이 지정된 훈련 데이터의 가용성에 크게 영향을 받으며, 모델이 감지할 수 있는 클래스는 훈련받은 클래스로 제한됩니다. 훈련 중에 모든 클래스에 대해 레이블이 지정된 이미지가 충분하지 않기 때문에 이러한 모델은 실제 환경에서는 덜 유용할 수 있습니다. 그리고 우리는 모델이 훈련 중에 보지 못한 클래스를 인식할 수 있기를 원합니다. 왜냐하면 모든 잠재적 객체의 이미지를 훈련하는 것은 거의 불가능하기 때문입니다. 우리는 몇 가지 샘플을 통해 배울 것입니다
VUE3 빠른 시작: Vue.js 지침을 사용하여 탭 전환
Jun 15, 2023 pm 11:45 PM
이 글은 초보자가 Vue.js3를 빠르게 시작하고 간단한 탭 전환 효과를 얻을 수 있도록 돕는 것을 목표로 합니다. Vue.js는 재사용 가능한 구성 요소를 구축하고 애플리케이션 상태를 쉽게 관리하며 사용자 인터페이스 상호 작용을 처리하는 데 사용할 수 있는 인기 있는 JavaScript 프레임워크입니다. Vue.js3은 최신 버전의 프레임워크로, 이전 버전과 비교하여 큰 변화가 있었지만 기본 원칙은 변경되지 않았습니다. 이 기사에서는 독자가 Vue.js에 익숙해질 수 있도록 Vue.js 지침을 사용하여 탭 전환 효과를 구현합니다.
대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다.
Jul 25, 2024 am 06:42 AM
편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는
사용자 정의 데이터세트에 OpenAI CLIP 구현
Sep 14, 2023 am 11:57 AM
2021년 1월 OpenAI는 DALL-E와 CLIP이라는 두 가지 새로운 모델을 발표했습니다. 두 모델 모두 어떤 방식으로든 텍스트와 이미지를 연결하는 다중 모드 모델입니다. CLIP의 정식 명칭은 Contrastive Language-Image Pre-training(ContrastiveLanguage-ImagePre-training)으로, 대조되는 텍스트-이미지 쌍을 기반으로 하는 사전 학습 방법입니다. CLIP을 소개하는 이유는 무엇인가요? 현재 인기 있는 StableDiffusion은 단일 모델이 아니라 여러 모델로 구성되어 있기 때문입니다. 핵심 구성 요소 중 하나는 사용자의 텍스트 입력을 인코딩하는 데 사용되는 텍스트 인코더이며, 이 텍스트 인코더는 CLIP 모델의 텍스트 인코더 CL입니다.
구글 AI 영상이 또 멋지네요! 올인원 범용 비주얼 인코더 VideoPrism, 30가지 SOTA 성능 기능 업데이트
Feb 26, 2024 am 09:58 AM
AI 영상모델 소라가 인기를 얻은 뒤 메타, 구글 등 주요 기업들은 한 발 물러나 연구하고 OpenAI를 따라잡았다. 최근 Google 팀의 연구원들은 범용 비디오 인코더인 VideoPrism을 제안했습니다. 하나의 고정 모델을 통해 다양한 영상 이해 작업을 처리할 수 있습니다. 이미지 논문 주소: https://arxiv.org/pdf/2402.13217.pdf 예를 들어 VideoPrism은 아래 영상에서 촛불을 부는 사람을 분류하고 위치를 찾을 수 있습니다. 이미지 비디오-텍스트 검색은 텍스트 콘텐츠를 기반으로 비디오의 해당 콘텐츠를 검색할 수 있습니다. 또 다른 예를 보려면 아래 비디오를 설명하십시오. 어린 소녀가 빌딩 블록을 가지고 놀고 있습니다. QA 질문과 답변도 제공됩니다.
데이터 세트를 올바르게 분할하는 방법은 무엇입니까? 세 가지 일반적인 방법 요약
Apr 08, 2023 pm 06:51 PM
데이터 세트를 훈련 세트로 분해하면 모델을 이해하는 데 도움이 되며, 이는 모델이 보이지 않는 새로운 데이터로 일반화되는 방식에 중요합니다. 모델이 과적합되면 보이지 않는 새로운 데이터에 대해 잘 일반화되지 않을 수 있습니다. 그러므로 좋은 예측은 할 수 없습니다. 적절한 검증 전략을 갖는 것은 좋은 예측을 성공적으로 생성하고 AI 모델의 비즈니스 가치를 사용하기 위한 첫 번째 단계입니다. 이 기사에서는 몇 가지 일반적인 데이터 분할 전략을 정리했습니다. 간단한 학습/테스트 분할은 데이터 세트를 학습 및 검증 부분으로 나눕니다(학습 80%, 검증 20%). Scikit의 무작위 샘플링을 사용하여 이를 수행할 수 있습니다. 첫째, 무작위 시드를 수정해야 합니다. 그렇지 않으면 동일한 데이터 분할을 비교할 수 없으며 디버깅 중에 결과를 재현할 수 없습니다. 데이터 세트라면
PyTorch 병렬 훈련 DistributedDataParallel 전체 코드 예제
Apr 10, 2023 pm 08:51 PM
대규모 데이터세트를 사용하여 대규모 심층신경망(DNN)을 훈련시키는 문제는 딥러닝 분야의 주요 과제입니다. DNN 및 데이터 세트 크기가 증가함에 따라 이러한 모델을 교육하는 데 필요한 계산 및 메모리 요구 사항도 늘어납니다. 이로 인해 컴퓨팅 리소스가 제한된 단일 시스템에서 이러한 모델을 교육하는 것이 어렵거나 불가능해집니다. 대규모 데이터 세트를 사용하여 대규모 DNN을 교육할 때 주요 과제 중 일부는 다음과 같습니다. 긴 교육 시간: 모델의 복잡성과 데이터 세트의 크기에 따라 교육 프로세스를 완료하는 데 몇 주 또는 몇 달이 걸릴 수 있습니다. 메모리 제한: 대규모 DNN은 훈련 중에 모든 모델 매개변수, 기울기 및 중간 활성화를 저장하기 위해 많은 양의 메모리가 필요할 수 있습니다. 이로 인해 메모리 부족 오류가 발생하고 단일 시스템에서 학습할 수 있는 내용이 제한될 수 있습니다.
