ICML 2024 | 상황별 학습에서 비선형 Transformer 학습 및 일반화 메커니즘 공개

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
이 기사의 저자인 Li Hongkang은 미국 Rensselaer Polytechnic Institute의 전기, 컴퓨터 및 시스템 공학과 박사 과정 학생입니다. 그는 중국 과학 기술 대학에서 학사 학위를 취득했습니다. 연구 방향에는 딥러닝 이론, 대규모 언어 모델 이론, 통계적 기계 학습 등이 있습니다. 그는 ICLR/ICML/Neurips와 같은 최고의 AI 컨퍼런스에서 많은 논문을 발표했습니다.
상황 내 학습(ICL)은 많은 LLM 관련 응용 프로그램에서 강력한 기능을 입증했지만 이론적 분석은 여전히 상대적으로 제한적입니다. 사람들은 여전히 Transformer 아키텍처 기반 LLM이 ICL의 기능을 발휘할 수 있는 이유를 이해하려고 노력하고 있습니다.
최근 Rensselaer Polytechnic University와 IBM Research 팀은 비선형 주의 모듈(attention)과 다층 퍼셉트론(MLP)을 갖춘 Transformer의 ICL을 최적화 및 일반화 이론 능력의 관점에서 분석했습니다. 특히 그들은 단일 계층 Transformer가 먼저 Attention 계층의 쿼리를 기반으로 몇 가지 상황별 예를 선택한 다음 MLP 계층의 레이블 임베딩을 기반으로 예측하는 ICL 메커니즘을 이론적으로 입증했습니다. 이 기사는 ICML 2024에 포함되었습니다.
논문 제목: 상황 내 학습에서 비선형 변환기 학습 및 일반화 방법
논문 주소: https://arxiv.org/pdf/2402.15607
배경 소개
컨텍스트 학습(ICL)
컨텍스트 학습(ICL)은 대규모 언어 모델(LLM)에서 매우 인기 있는 새로운 학습 패러다임입니다. 구체적으로 테스트 쿼리(테스트 쿼리) 앞에 N개의 테스트 샘플 테스트 예제(컨텍스트)를 추가하는 것을 의미합니다. 즉, 테스트 입력
과 테스트 출력
의 조합을 통해 테스트 프롬프트를 형성합니다.
모델의 입력으로 모델을 안내하기 위해 올바른 추론을 하십시오. 이 방법은 사전 훈련된 모델을 미세 조정하는 기존 방법과 다르므로 모델의 가중치를 변경할 필요가 없으므로 더 효율적입니다.
ICL 이론 작업의 진행
최근 많은 이론 작업은 [1]에서 제안한 연구 프레임워크를 기반으로 합니다. 즉, 사람들은 프롬프트 형식을 직접 사용하여 Transformer를 훈련할 수 있습니다(이 단계는 시뮬레이션으로 이해될 수도 있음). 단순화된 LLM 사전 훈련 모드)를 통해 모델에 ICL 기능이 제공됩니다. 기존의 이론적 연구는 모델의 표현력에 초점을 맞추고 있습니다[2]. 그들은 순방향 연산을 통해 ICL을 수행하고 심지어 경사하강법과 같은 고전적인 기계 학습 알고리즘을 암시적으로 수행할 수 있는 "완벽한" 매개변수가 있는 Transformer를 찾을 수 있다는 것을 발견했습니다. 그러나 이러한 연구에서는 Transformer가 ICL 기능을 통해 이러한 "완벽한" 매개변수로 훈련될 수 있는 이유에 대해 답할 수 없습니다. 따라서 Transformer의 학습이나 일반화의 관점에서 ICL 메커니즘을 이해하려는 연구도 있다[3,4]. 그러나 Transformer 구조 분석의 복잡성으로 인해 이러한 작업은 현재 선형 회귀 작업 연구에 그치고 고려되는 모델은 일반적으로 Transformer의 비선형 부분을 생략합니다.
이 기사에서는 최적화 및 일반화 이론의 관점에서 비선형 주의 및 MLP를 사용하여 Transformer의 ICL 기능과 메커니즘을 분석합니다.
간단한 분류 모델을 기반으로 이 기사에서는 데이터의 특성이 데이터에 미치는 영향을 구체적으로 정량화합니다. 레이어 단일 헤드 변환기의 도메인 내 및 도메인 외부(OOD) ICL 일반화 기능입니다.
이 문서에서는 훈련된 Transformer를 통해 ICL이 구현되는 방법을 자세히 설명합니다.
훈련된 Transformer의 특성을 기반으로 이 기사에서는 ICL 추론 중에 크기 기반 모델 가지치기 사용의 타당성도 분석합니다.
이론적 부분
문제 설명
이 문서에서는 작업 을 통해
을
에 매핑하는 두 가지 분류 문제를 고려합니다. 이러한 문제를 해결하기 위해 이 기사에서는 학습 프롬프트를 구축합니다. 여기서 프롬프트는 다음과 같이 표시됩니다.
단일 레이어 단일 헤드 변환기로 네트워크 교육:
사전 교육 프로세스는 모든 교육 작업에 대한 경험적 위험 최소화를 해결하는 것입니다. 손실 함수는 이진 분류 문제에 적합한 Hinge loss를 사용하고, 훈련 알고리즘은 확률적 경사 하강법입니다.
이 기사에서는 ICL 일반화의 두 가지 사례를 정의합니다. 하나는 도메인 내입니다. 즉, 일반화 중에 테스트 데이터의 분포가 훈련 데이터와 동일합니다. 이 경우 테스트 작업이 훈련 작업과 동일할 필요는 없습니다. 즉, 일반화입니다. 보이지 않는 작업이 여기에서 고려되었습니다. 다른 하나는 도메인 외부입니다. 즉, 테스트 데이터와 학습 데이터의 분포가 다릅니다.
이 문서에는 ICL 추론 중 크기 기반 가지치기 분석도 포함되어 있습니다. 여기서 가지치기 방법은 진폭에 따라 작은 것부터 큰 것까지 훈련을 통해 얻은 각 뉴런을 삭제하는 것을 의미합니다.
데이터 및 작업 구성
이 부분은 원문의 3.2절을 참조하세요. 본 논문의 이론적 분석은 최근 인기 있는 특징 학습 경로를 기반으로 합니다. 즉, 데이터는 일반적으로 분리 가능한(보통 직교) 패턴으로 가정되어 다양한 패턴을 기반으로 기울기 변화를 도출합니다. 이 문서에서는 먼저 도메인 내 작업의 분류를 결정하는 데 사용되는 IDR(도메인 내 관련) 패턴 집합과 작업 독립적인 IDI(도메인 내 관련 없음) 패턴 집합을 정의합니다. 다른. IDR 패턴과
IDI 패턴이 있습니다. A
는 IDR 패턴과 IDI 패턴의 합으로 표현됩니다. 도메인 내 작업은 두 가지 IDR 패턴을 기반으로 하는 분류 문제로 정의됩니다.
마찬가지로 이 글에서는 ODR(Out-of-domain-Relevant) 패턴과 ODI(out-of-domain-irrelevant) 패턴을 정의하여 OOD를 일반화할 때의 데이터와 작업을 설명할 수 있습니다.
이 글의 프롬프트 표현은 아래 그림의 예를 통해 설명할 수 있습니다. 여기서 는 IDR 패턴이고
는 IDI 패턴입니다. 여기서 수행되는 작업은 x의
를 기준으로 분류하는 것입니다.
이면 해당 레이블은 +q에 해당하는 +1입니다. α, α'는 각각 훈련 및 테스트 프롬프트에서 쿼리의 IDR/ODR 패턴과 동일한 컨텍스트 예로 정의됩니다. 아래 예에서는
.
이론적 결과
먼저 도메인 내 상황에 대해 이 글에서는 먼저 조건 3.2를 제공하여 훈련 작업이 충족해야 하는 조건, 즉 훈련 작업이 모든 IDR 패턴과 라벨. 그러면 도메인 내 결과는 다음과 같습니다.
이는 다음을 보여줍니다. 1. 훈련 작업 수는 조건 3.2를 충족하는 모든 작업 중 작은 부분만 차지하면 되며 보이지 않는 작업에 대한 좋은 일반화를 달성할 수 있습니다. 2. 프롬프트에서 현재 작업과 관련된 IDR 패턴의 비율이 높을수록 더 적은 훈련 데이터, 훈련 반복 횟수 및 더 짧은 훈련/테스트 프롬프트를 사용하여 이상적인 일반화를 달성할 수 있습니다.
다음은 도메인 외부 일반화 결과입니다.
여기에서는 ODR 패턴이 IDR 패턴의 선형 결합이고 계수 합이 1보다 크면 이때 OOD ICL 일반화가 이상적인 효과를 얻을 수 있다고 설명합니다. 이 결과는 ICL 프레임워크에서 우수한 OOD 일반화에 필요한 교육 데이터와 테스트 데이터 간의 본질적인 연결을 제공합니다. 이 정리는 GPT-2 실험에서도 검증되었습니다. 아래 그림과 같이 (12)의 계수 합 이 1보다 큰 경우 OOD 분류는 이상적인 결과를 얻을 수 있습니다. 동시에
, 즉 프롬프트에서 분류 작업과 관련된 ODR/IDR 패턴의 비율이 높을 때 필요한 컨텍스트 길이는 더 작아집니다.
그런 다음 본 논문에서는 규모 기반 가지치기를 통해 ICL 일반화 결과를 제공합니다.
이 결과는 우선 훈련된 의 일부(일정한 비율) 뉴런의 진폭이 작은 반면 나머지 뉴런은 상대적으로 크다는 것을 보여줍니다(식 14). 작은 뉴런만 잘라내는 경우 기본적으로 일반화 결과에는 영향이 없습니다. 큰 뉴런을 잘라내는 비율이 증가하면 일반화 오류가 크게 증가합니다(수식 15, 16). 다음 실험은 정리 3.7을 검증합니다. 아래 그림 A의 연한 파란색 세로선은 훈련을 통해 얻은
을 나타내며 Formula 14의 결과를 나타냅니다. 그러나 작은 뉴런을 잘라내는 것은 일반화를 악화시키지 않을 것입니다. 이 결과는 이론과 일치합니다. 그림 B는 프롬프트에 작업 관련 컨텍스트가 더 많을 때 동일한 일반화 성능을 달성하기 위해 더 큰 가지치기 비율을 허용할 수 있음을 반영합니다.
ICL 메커니즘
사전 훈련 과정을 설명함으로써 이 기사는 원 기사의 섹션 4에 있는 ICL용 단일 레이어 단일 헤드 비선형 변환기의 내부 메커니즘을 얻습니다. 이 과정은 아래 다이어그램으로 표현될 수 있습니다.
간단히 말하면 Attention 레이어는 쿼리의 ODR/IDR 패턴과 동일한 컨텍스트를 선택하여 거의 모든 Attention 가중치를 부여한 다음 MLP 레이어는 라벨 임베딩을 기반으로 최종 분류를 만드는 데 집중합니다. 관심 레이어 출력에서.
요약
이 기사에서는 ICL의 비선형 Transformer의 훈련 메커니즘과 새로운 작업 및 분포 이동 데이터에 대한 일반화 기능에 대해 설명합니다. 이론적 결과는 프롬프트 선택 알고리즘과 LLM 가지치기 알고리즘을 설계하는 데 있어 실질적인 의미를 갖습니다.
参考文献
[1] Garg, et al., Neurips 2022. "무엇을 트랜스포머가 상황 내에서 배울 수 있습니까? 간단한 함수 클래스에 대한 사례 연구."
[2] Von Oswald 외, ICML 2023. "변환기는 경사하강법을 통해 상황 내에서 학습합니다."
[3] Zhang 외, JMLR 2024. "훈련된 변환기는 상황 내에서 선형 모델을 학습합니다."
[4] Huang et al., ICML 2024. "변환기의 상황 내 수렴."
위 내용은 ICML 2024 | 상황별 학습에서 비선형 Transformer 학습 및 일반화 메커니즘 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

하지만 공원에 있는 노인을 이길 수는 없을까요? 파리올림픽이 본격화되면서 탁구가 많은 주목을 받고 있다. 동시에 로봇은 탁구 경기에서도 새로운 돌파구를 마련했습니다. 방금 DeepMind는 탁구 경기에서 인간 아마추어 선수 수준에 도달할 수 있는 최초의 학습 로봇 에이전트를 제안했습니다. 논문 주소: https://arxiv.org/pdf/2408.03906 DeepMind 로봇은 탁구를 얼마나 잘 치나요? 아마도 인간 아마추어 선수들과 동등할 것입니다: 포핸드와 백핸드 모두: 상대는 다양한 플레이 스타일을 사용하고 로봇도 견딜 수 있습니다: 다양한 스핀으로 서브를 받습니다. 그러나 게임의 강도는 그만큼 강렬하지 않은 것 같습니다. 공원에 있는 노인. 로봇용, 탁구용

8월 21일, 2024년 세계로봇대회가 베이징에서 성대하게 개최되었습니다. SenseTime의 홈 로봇 브랜드 "Yuanluobot SenseRobot"은 전체 제품군을 공개했으며, 최근에는 Yuanluobot AI 체스 두는 로봇인 체스 프로페셔널 에디션(이하 "Yuanluobot SenseRobot")을 출시하여 세계 최초의 A 체스 로봇이 되었습니다. 집. Yuanluobo의 세 번째 체스 게임 로봇 제품인 새로운 Guoxiang 로봇은 AI 및 엔지니어링 기계 분야에서 수많은 특별한 기술 업그레이드와 혁신을 거쳤으며 처음으로 3차원 체스 말을 집는 능력을 실현했습니다. 가정용 로봇의 기계 발톱을 통해 체스 게임, 모두 체스 게임, 기보 복습 등과 같은 인간-기계 기능을 수행합니다.

개학이 코앞으로 다가왔습니다. 새 학기를 앞둔 학생들뿐만 아니라 대형 AI 모델도 스스로 관리해야 합니다. 얼마 전 레딧에는 클로드가 게으르다고 불평하는 네티즌들이 붐볐습니다. "레벨이 많이 떨어졌고, 자주 멈췄고, 심지어 출력도 매우 짧아졌습니다. 출시 첫 주에는 4페이지 전체 문서를 한 번에 번역할 수 있었지만 지금은 반 페이지도 출력하지 못합니다. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ "클로드에게 완전히 실망했습니다"라는 제목의 게시물에

베이징에서 열린 세계로봇컨퍼런스에서는 휴머노이드 로봇의 전시가 현장의 절대 화두가 됐다. 스타더스트 인텔리전트 부스에서는 AI 로봇 어시스턴트 S1이 덜시머, 무술, 서예 3대 퍼포먼스를 선보였다. 문학과 무술을 모두 갖춘 하나의 전시 공간은 수많은 전문 관객과 미디어를 끌어 모았습니다. 탄력 있는 현의 우아한 연주를 통해 S1은 정밀한 작동과 속도, 힘, 정밀성을 갖춘 절대적인 제어력을 보여줍니다. CCTV 뉴스는 '서예'의 모방 학습 및 지능형 제어에 대한 특별 보도를 진행했습니다. 회사 설립자 Lai Jie는 부드러운 움직임 뒤에 하드웨어 측면이 최고의 힘 제어와 가장 인간과 유사한 신체 지표(속도, 하중)를 추구한다고 설명했습니다. 등)이지만 AI측에서는 사람의 실제 움직임 데이터를 수집해 로봇이 강한 상황에 직면했을 때 더욱 강해지고 빠르게 진화하는 방법을 학습할 수 있다. 그리고 민첩하다

참가자들은 이번 ACL 컨퍼런스에서 많은 것을 얻었습니다. ACL2024는 6일간 태국 방콕에서 개최됩니다. ACL은 전산언어학 및 자연어 처리 분야 최고의 국제학술대회로 국제전산언어학회(International Association for Computational Linguistics)가 주최하고 매년 개최된다. ACL은 NLP 분야에서 학술 영향력 1위를 항상 차지하고 있으며, CCF-A 추천 컨퍼런스이기도 합니다. 올해로 62회째를 맞이하는 ACL 컨퍼런스에는 NLP 분야의 최신 저서가 400편 이상 접수됐다. 어제 오후 컨퍼런스에서는 최우수 논문과 기타 상을 발표했습니다. 이번에 최우수논문상 7개(미출판 2개), 우수주제상 1개, 우수논문상 35개가 있다. 이 컨퍼런스에서는 또한 3개의 리소스 논문상(ResourceAward)과 사회적 영향상(Social Impact Award)을 수상했습니다.

비전과 로봇 학습의 긴밀한 통합. 최근 화제를 모으고 있는 1X 휴머노이드 로봇 네오(NEO)와 두 개의 로봇 손이 원활하게 협력해 옷 개기, 차 따르기, 신발 싸기 등을 하는 모습을 보면 마치 로봇 시대로 접어들고 있다는 느낌을 받을 수 있다. 실제로 이러한 부드러운 움직임은 첨단 로봇 기술 + 정교한 프레임 디자인 + 다중 모드 대형 모델의 산물입니다. 우리는 유용한 로봇이 종종 환경과 복잡하고 절묘한 상호작용을 요구한다는 것을 알고 있으며, 환경은 공간적, 시간적 영역에서 제약으로 표현될 수 있습니다. 예를 들어, 로봇이 차를 따르도록 하려면 먼저 로봇이 찻주전자 손잡이를 잡고 차를 흘리지 않고 똑바로 세운 다음, 주전자 입구와 컵 입구가 일치할 때까지 부드럽게 움직여야 합니다. 을 누른 다음 주전자를 특정 각도로 기울입니다. 이것

컨퍼런스 소개 과학기술의 급속한 발전과 함께 인공지능은 사회 발전을 촉진하는 중요한 힘이 되었습니다. 이 시대에 우리는 분산인공지능(DAI)의 혁신과 적용을 목격하고 참여할 수 있어 행운입니다. 분산 인공지능(Distributed Artificial Intelligence)은 인공지능 분야의 중요한 한 분야로, 최근 몇 년간 점점 더 많은 주목을 받고 있습니다. 대규모 언어 모델(LLM) 기반 에이전트가 갑자기 등장했습니다. 대규모 모델의 강력한 언어 이해와 생성 기능을 결합하여 자연어 상호 작용, 지식 추론, 작업 계획 등에 큰 잠재력을 보여주었습니다. AIAgent는 빅 언어 모델을 이어받아 현재 AI계에서 화제가 되고 있습니다. 오

오늘 오후 Hongmeng Zhixing은 공식적으로 새로운 브랜드와 신차를 환영했습니다. 8월 6일, Huawei는 Hongmeng Smart Xingxing S9 및 Huawei 전체 시나리오 신제품 출시 컨퍼런스를 개최하여 파노라마식 스마트 플래그십 세단 Xiangjie S9, 새로운 M7Pro 및 Huawei novaFlip, MatePad Pro 12.2인치, 새로운 MatePad Air, Huawei Bisheng을 선보였습니다. 레이저 프린터 X1 시리즈, FreeBuds6i, WATCHFIT3 및 스마트 스크린 S5Pro를 포함한 다양한 새로운 올-시나리오 스마트 제품, 스마트 여행, 스마트 오피스, 스마트 웨어에 이르기까지 화웨이는 풀 시나리오 스마트 생태계를 지속적으로 구축하여 소비자에게 스마트한 경험을 제공합니다. 만물인터넷. Hongmeng Zhixing: 스마트 자동차 산업의 업그레이드를 촉진하기 위한 심층적인 권한 부여 화웨이는 중국 자동차 산업 파트너와 손을 잡고
