다중 양식이 다시 통합되었습니다! Meta, 자체 감독 알고리즘 data2vec 2.0 출시: 훈련 효율성이 최대 16배 향상되었습니다!
최근 몇 년 동안 인공 지능 분야의 대부분의 혁신은 자기 지도 학습에 의해 주도되었습니다. 예를 들어 BERT에서 제안된 MLM(Masked Language Model)은 텍스트의 일부 단어를 마스킹한 다음 이를 다시 수행합니다. - 레이블이 지정되지 않은 대규모 텍스트 데이터를 예측할 수 있습니다. 이는 모델을 훈련하는 데 사용될 수 있으며, 이는 이후 대규모 사전 훈련 모델의 새로운 시대를 열었습니다. 그러나 자기 지도 학습 알고리즘에는 일반적으로 단일 형식(예: 이미지, 텍스트, 음성 등)의 데이터에만 적합하며 대규모 데이터에서 학습하려면 많은 컴퓨팅 성능이 필요합니다. 대조적으로, 인간은 현재 AI 모델보다 훨씬 더 효율적으로 학습하며 다양한 유형의 데이터로부터 학습할 수 있습니다.
Meta AI는 2022년 1월 데이터의 세 가지 양식(음성, 비전, 텍스트)을 하나의 프레임워크로 통합하는 자기 지도 학습 프레임워크 data2vec을 출시했습니다. 다중양식을 통합하려는 경향. 최근 Meta AI 출시 data2cec 버전 2.0 . 이는 주로 성능 측면에서 이전 세대를 향상시켰습니다. 동일한 정확도로 훈련 속도를 다른 세대와 비교합니다. 알고리즘이 최대 16배 향상되었습니다!
논문 링크: https://ai.facebook.com/research/publications/e 효율적 -자기 감독 학습-상황에 맞는 대상 표현-비전-언어 및 언어
코드 링크:https://github.com /facebookresearch/fairseq/tree/main/examples/data2vec
data2vec 1.0
현재 대부분의 기계 학습 모델은 여전히 지도 학습 모델을 기반으로 하고 있습니다. 주석자는 대상 데이터에 레이블을 지정하지만 일부 작업(예: 지구상에 존재하는 수천 개의 인간 언어)에서는 레이블이 지정된 데이터를 수집하는 것이 불가능합니다.
반면, 자기주도 학습은 모델에게 무엇이 옳고 그른지 알려줄 필요가 없고, 기계가 세상을 관찰함으로써 이미지, 음성, 텍스트의 구조를 학습할 수 있게 해줍니다. 관련 연구 결과는 음성(예: wave2vec 2.0), 컴퓨터 비전(예: 마스크 자동 인코더) 및 자연어 처리(예: BERT)의 개발을 촉진했습니다.
data2vec의 주요 아이디어는 먼저 교사 네트워크를 구축하고 먼저 이미지, 텍스트 또는 음성에서 대상 표현을 계산하는 것입니다. 그런 다음 데이터는 입력의 일부를 모호하게 하기 위해 마스킹되고, 교사 모델에서 얻은 표현을 예측하기 위해 학생 네트워크에서 프로세스가 반복됩니다.
즉, 학생 모델은 "불완전한 입력 정보"를 수용하면서 "완전한 입력 데이터"의 표현만 예측할 수 있습니다. 두 모델의 일관성을 보장하기 위해 두 모델의 매개변수가 공유되지만 Teacher 모델의 매개변수는 학습 초기 단계에서 더 빠르게 업데이트됩니다. 실험 결과 측면에서 data2vec은 음성, 시각, 텍스트 및 기타 작업에서 기본 모델에 비해 성능이 크게 향상되었습니다.
data2vec 2.0
data2vec은 음성, 시각, 언어의 세 가지 모달 데이터 학습을 통합하는 일반적인 자기 지도 학습 프레임워크를 제안하며, data2vec2.0은 주로 문제점을 해결합니다. 즉, 자기 지도 모델을 구축하려면 훈련을 완료하기 위해 많은 양의 GPU 컴퓨팅 성능이 필요합니다. 원래 data2vec 알고리즘과 유사하게 data2vec 2.0은 이미지의 픽셀, 텍스트 세그먼트의 단어 또는 음성을 예측하는 대신 데이터의 상황별 표현 또는 신경망의 레이어를 예측합니다.
일반적인 다른 알고리즘과 달리 이러한 소위 대상 표현은 상황에 따라 다릅니다. 즉, 알고리즘은 전체 훈련 예제를 고려해야 합니다.
예를 들어, 모델은 Bank가 포함된 전체 문장을 기반으로 Bank라는 단어의 표현을 학습하므로, 구체적으로 "financial"을 지칭하는지 구별하는 등 단어의 올바른 의미를 더 쉽게 추론할 수 있습니다. 기관"또는 "강 옆 땅"”. 연구원들은 상황에 맞는 목표가 더 풍부한 학습 작업을 촉진하고 data2vec 2.0이 다른 알고리즘보다 더 빠르게 학습할 수 있게 해줄 것이라고 믿습니다.
data2vec 2.0은 다음 세 가지 방법으로 원본 data2vec 알고리즘의 효율성을 향상합니다.
1. 특정 훈련 예제에 대한 대상 표현을 구축하고 마스크에서 이 표현을 재사용합니다. 버전. 마스크 버전에서는 학습 예제의 여러 부분이 무작위로 숨겨집니다. 그런 다음 두 버전에서 학습된 표현은 학생 모델에 공급되어 서로 다른 마스크 버전에 대해 동일한 상황화된 목표 표현을 예측하여 목표 표현을 생성하는 데 필요한 계산 노력을 효과적으로 상각합니다.
2. MAE(Masked Autoencoder)와 유사하게 학생 모델의 인코더 네트워크는 훈련 예제의 공백 부분을 작동하지 않습니다. 이미지 실험에서는 섹션의 약 80%가 비어 있어 계산 주기가 크게 절약되었습니다.
3. 더 이상 Transformer 네트워크에 의존하지 않고 다층 컨볼루셔널 네트워크에 의존하는 보다 효과적인 디코더 모델이 사용됩니다.
실험 섹션
data2vec 2.0이 data2vec 및 기타 유사한 알고리즘보다 얼마나 더 효율적인지 더 직관적으로 이해하기 위해 연구원들은 컴퓨터 비전, 음성 및 텍스트 작업과 관련된 벤치마크에 대한 광범위한 실험을 수행했습니다. 실험에서는 모델의 사전 학습에 소요되는 최종 정확도와 시간을 주로 고려하여 알고리즘의 실행 속도를 측정하기 위해 실험 환경은 모두 동일한 하드웨어(GPU 모델, 수량 등)에 있었습니다.
연구원들은 컴퓨터 비전 작업에서 모델이 이미지 표현을 학습하는 데이터세트인 표준 ImageNet-1K 이미지 분류 벤치마크에서 data2vec 2.0을 평가했습니다. 실험 결과에 따르면 data2vec 2.0은 MAE(Masked Autoencoder)의 정확도와 동일할 수 있지만 16배 더 빠릅니다.
data2vec 2.0 알고리즘에 계속해서 더 많은 실행 시간을 제공하면 MAE보다 더 높은 정확도를 달성하면서도 여전히 더 빠를 수 있습니다.
음성 작업에 대해 연구진은 LibriLanguage 음성 인식 벤치마크에서 테스트한 결과 wave2vec 2.0보다 11배 이상 정확했습니다.
자연어 처리 작업의 경우 연구원들은 GLUE(General Language Understanding Evaluation) 벤치마크에서 data2vec 2.0을 평가하여 훈련 시간의 절반만에 BERT를 재구현한 RoBERTa와 동일한 정확도를 달성했습니다.
위 내용은 다중 양식이 다시 통합되었습니다! Meta, 자체 감독 알고리즘 data2vec 2.0 출시: 훈련 효율성이 최대 16배 향상되었습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











7 백만 레코드를 효율적으로 처리하고 지리 공간 기술로 대화식지도를 만듭니다. 이 기사는 Laravel과 MySQL을 사용하여 7 백만 개 이상의 레코드를 효율적으로 처리하고 대화식지도 시각화로 변환하는 방법을 살펴 봅니다. 초기 챌린지 프로젝트 요구 사항 : MySQL 데이터베이스에서 7 백만 레코드를 사용하여 귀중한 통찰력을 추출합니다. 많은 사람들이 먼저 프로그래밍 언어를 고려하지만 데이터베이스 자체를 무시합니다. 요구 사항을 충족시킬 수 있습니까? 데이터 마이그레이션 또는 구조 조정이 필요합니까? MySQL이 큰 데이터로드를 견딜 수 있습니까? 예비 분석 : 주요 필터 및 속성을 식별해야합니다. 분석 후, 몇 가지 속성만이 솔루션과 관련이 있음이 밝혀졌습니다. 필터의 타당성을 확인하고 검색을 최적화하기위한 제한 사항을 설정했습니다. 도시를 기반으로 한지도 검색

MySQL 시작이 실패하는 데는 여러 가지 이유가 있으며 오류 로그를 확인하여 진단 할 수 있습니다. 일반적인 원인에는 포트 충돌 (포트 점유 체크 및 구성 수정), 권한 문제 (서비스 실행 사용자 권한 실행), 구성 파일 오류 (파라미터 설정 확인), 데이터 디렉토리 손상 (데이터 복원 또는 테이블 공간 재건), IBDATA 테이블 공간 문제 (IBDATA1 파일 확인), 플러그로드 (확인 오류 로그)가 포함됩니다. 문제를 해결할 때 오류 로그를 기반으로 문제를 분석하고 문제의 근본 원인을 찾고 문제를 방지하고 해결하기 위해 정기적으로 데이터를 백업하는 습관을 개발해야합니다.

이 기사는 MySQL 데이터베이스의 작동을 소개합니다. 먼저 MySQLworkBench 또는 명령 줄 클라이언트와 같은 MySQL 클라이언트를 설치해야합니다. 1. MySQL-Uroot-P 명령을 사용하여 서버에 연결하고 루트 계정 암호로 로그인하십시오. 2. CreateABase를 사용하여 데이터베이스를 작성하고 데이터베이스를 선택하십시오. 3. CreateTable을 사용하여 테이블을 만들고 필드 및 데이터 유형을 정의하십시오. 4. InsertInto를 사용하여 데이터를 삽입하고 데이터를 쿼리하고 업데이트를 통해 데이터를 업데이트하고 DELETE를 통해 데이터를 삭제하십시오. 이러한 단계를 마스터하고 일반적인 문제를 처리하는 법을 배우고 데이터베이스 성능을 최적화하면 MySQL을 효율적으로 사용할 수 있습니다.

원격 선임 백엔드 엔지니어 구직 회사 : 원 위치 : 원격 사무실 직무 유형 : 전임 급여 : $ 130,000- $ 140,000 직무 설명 전체 소프트웨어 개발 라이프 사이클을 다루는 Circle Mobile 애플리케이션 및 공개 API 관련 기능의 연구 및 개발에 참여합니다. 주요 책임은 독립적으로 Rubyonrails를 기반으로 개발 작업을 완료하고 React/Redux/Relay 프론트 엔드 팀과 협력합니다. 웹 애플리케이션의 핵심 기능 및 개선을 구축하고 기능 설계 프로세스 전반에 걸쳐 설계자 및 리더십과 긴밀히 협력하십시오. 긍정적 인 개발 프로세스를 촉진하고 반복 속도를 우선시하십시오. 6 년 이상의 복잡한 웹 애플리케이션 백엔드가 필요합니다.

MySQL은 JSON 데이터를 반환 할 수 있습니다. json_extract 함수는 필드 값을 추출합니다. 복잡한 쿼리의 경우 where 절을 사용하여 JSON 데이터를 필터링하지만 성능 영향에주의하십시오. JSON에 대한 MySQL의 지원은 지속적으로 증가하고 있으며 최신 버전 및 기능에주의를 기울이는 것이 좋습니다.

데이터베이스 산 속성에 대한 자세한 설명 산 속성은 데이터베이스 트랜잭션의 신뢰성과 일관성을 보장하기위한 일련의 규칙입니다. 데이터베이스 시스템이 트랜잭션을 처리하는 방법을 정의하고 시스템 충돌, 전원 중단 또는 여러 사용자의 동시 액세스가 발생할 경우에도 데이터 무결성 및 정확성을 보장합니다. 산 속성 개요 원자력 : 트랜잭션은 불가분의 단위로 간주됩니다. 모든 부분이 실패하고 전체 트랜잭션이 롤백되며 데이터베이스는 변경 사항을 유지하지 않습니다. 예를 들어, 은행 송금이 한 계정에서 공제되지만 다른 계정으로 인상되지 않은 경우 전체 작업이 취소됩니다. BeginTransaction; updateAccountssetBalance = Balance-100WH

기본 키는 데이터베이스의 각 행을 고유하게 식별하는 키 속성이기 때문에 MySQL 기본 키는 비어있을 수 없습니다. 기본 키가 비어 있으면 레코드를 고유하게 식별 할 수 없으므로 데이터 혼동으로 이어질 수 있습니다. 자체 점수 정수 열 또는 UUID를 기본 키로 사용하는 경우 효율성 및 우주 점유와 같은 요소를 고려하고 적절한 솔루션을 선택해야합니다.

sqllimit 절 : 쿼리 결과의 행 수를 제어하십시오. SQL의 한계 절은 쿼리에서 반환 된 행 수를 제한하는 데 사용됩니다. 이것은 대규모 데이터 세트, 페이지 진화 디스플레이 및 테스트 데이터를 처리 할 때 매우 유용하며 쿼리 효율성을 효과적으로 향상시킬 수 있습니다. 구문의 기본 구문 : SelectColumn1, Collect2, ... Fromtable_namelimitnumber_of_rows; 번호_of_rows : 반환 된 행 수를 지정하십시오. 오프셋이있는 구문 : SelectColumn1, Column2, ... Fromtable_namelimitOffset, number_of_rows; 오프셋 : skip
