모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다-일체 포함-php.cn

딥 러닝 연구자들은 신경과학과 인지 과학에서 영감을 얻습니다. 숨겨진 단위와 입력 방법부터 네트워크 연결 및 네트워크 아키텍처 설계에 이르기까지 많은 획기적인 연구가 뇌 작동 전략을 모방하는 데 기반을 두고 있습니다. 최근 몇 년 동안 인공 네트워크에서 모듈성과 주의가 결합되어 자주 사용되어 인상적인 결과를 얻었음에는 의심의 여지가 없습니다.

사실, 인지 신경과학 연구에 따르면 대뇌 피질은 모듈 방식으로 지식을 표현하고, 서로 다른 모듈 간에 통신하며, 주의 메커니즘이 위에서 언급한 모듈성과 주의를 결합하여 사용합니다. 최근 연구에서는 뇌의 이러한 의사소통 방식이 심층 네트워크의 귀납적 편향에 영향을 미칠 수 있다고 제안되었습니다. 이러한 상위 수준 변수 간의 종속성이 희박하여 지식을 가능한 한 독립적인 재조합 가능한 조각으로 분해하여 학습을 더욱 효율적으로 만듭니다.

최근의 많은 연구가 이러한 모듈식 아키텍처에 의존하고 있지만, 연구자들은 수많은 트릭과 아키텍처 수정을 사용하므로 실제 사용 가능한 아키텍처 원리를 구문 분석하기가 어렵습니다.

머신 러닝 시스템은 점점 더 희소하고 모듈화된 아키텍처의 장점을 보여주고 있습니다. 모듈식 아키텍처는 우수한 일반화 성능을 제공할 뿐만 아니라 더 나은 OoD(배포 외) 일반화 및 확장성을 제공합니다. 해석 가능성. 이러한 시스템의 성공의 열쇠는 실제 환경에서 사용되는 데이터 생성 시스템이 드물게 상호 작용하는 부분으로 구성되어 있다는 점이며, 모델에 유사한 귀납적 편향을 제공하는 것이 도움이 될 것입니다. 그러나 이러한 실제 데이터의 분포는 복잡하고 알려지지 않았기 때문에 해당 분야에서는 이러한 시스템에 대한 엄격한 정량적 평가가 부족했습니다.

간단하고 알려진 모듈식 데이터 배포를 통해 공통 모듈식 아키텍처에 대한 종합적인 평가를 수행한 몬트리올 대학의 Sarthak Mittal, Yoshua Bengio 및 Guillaume Lajoie 연구원 3명이 작성한 논문입니다. 이 연구는 모듈성과 희소성의 이점을 강조하고 모듈식 시스템을 최적화할 때 직면하는 과제에 대한 통찰력을 보여줍니다. 제1저자이자 교신저자인 Sarthak Mittal은 Bengio와 Lajoie의 석사과정 학생입니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

문서 주소: https://arxiv.org/pdf/2206.02713.pdf
GitHub 주소: https://github.com/sarthmit/Mod_Arch

특별히 , 이 이 연구는 Rosenbaum et al.의 분석을 확장하고 모듈식 아키텍처의 공통 구성 요소를 평가, 정량화 및 분석하는 방법을 제안합니다. 이를 위해 연구에서는 모듈식 네트워크의 효율성을 조사하기 위해 설계된 일련의 벤치마크와 측정 기준을 개발했습니다. 이를 통해 현재 접근 방식이 성공하는 부분뿐만 아니라 이러한 접근 방식이 언제 어떻게 실패하는지 파악하는 데 도움이 되는 귀중한 통찰력을 얻을 수 있습니다.

이 연구의 기여는 다음과 같이 요약될 수 있습니다.

이 연구는 확률적 선택 규칙을 기반으로 벤치마크 작업과 측정항목을 개발하고 벤치마크와 측정항목을 사용하여 모듈식 시스템의 두 가지 중요한 현상인 붕괴와 전문화 전문화를 정량화합니다.
본 연구에서는 일반적으로 사용되는 모듈러 유도 바이어스를 추출하고, 일반적으로 사용되는 아키텍처 속성을 추출하기 위해 설계된 일련의 모델(Monolithic, Modular, Modular-op, GT-Modular 모델)을 통해 이를 체계적으로 평가합니다.
연구에 따르면 모듈식 시스템의 전문화는 작업에 잠재 규칙이 많을 때 모델 성능을 크게 향상시킬 수 있지만 그 수가 적을 때는 그렇지 않습니다.
연구에 따르면 표준 모듈형 시스템은 올바른 정보에 집중하는 능력과 전문화 능력 모두에서 차선책인 경향이 있으며, 이는 추가적인 귀납적 편견이 필요함을 시사합니다.

정의/용어

이 백서에서는 일련의 모듈식 시스템이 규칙 데이터라고 부르는 합성 데이터 생성 프로세스에 의해 공식화된 공통 작업을 수행하는 방법을 살펴봅니다. (1) 규칙과 이러한 규칙이 작업을 형성하는 방법, (2) 모듈과 이러한 모듈이 다양한 모델 아키텍처를 채택하는 방법, (3) 전문화 및 모델 평가 방법을 포함한 주요 구성 요소의 정의를 소개합니다. 자세한 설정은 아래 그림 1과 같습니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

규칙. 모듈식 시스템을 제대로 이해하고 장단점을 분석하기 위해 연구원들은 다양한 작업 요구 사항을 세밀하게 제어할 수 있는 포괄적인 설정을 고려했습니다. 특히, 규칙이라고 부르는 연산은 아래 방정식 1-3에 표시된 데이터 생성 분포에서 학습되어야 합니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

위의 분포를 고려하여 연구자는 전문가가 되기 위한 규칙을 정의합니다. 즉, 규칙 r은 p_y(·|x, c = r)로 정의됩니다. 여기서 c는 다음을 나타내는 분류입니다. 컨텍스트 변수, x는 입력 시퀀스입니다.

미션. 작업은 방정식 1-3에 표시된 일련의 규칙(데이터 생성 분포)으로 설명됩니다. {p_y(· | x, c)}_c의 다른 세트는 다른 작업을 의미합니다. 주어진 수의 규칙에 대해 모델은 작업별 편향을 제거하기 위해 여러 작업에 대해 훈련됩니다.

모듈. 모듈형 시스템은 일련의 신경망 모듈로 구성되며, 각 모듈은 전체 출력에 기여합니다. 이는 다음의 함수형을 통해 알 수 있다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

여기서 y_m은 출력을 나타내고 p_m은 m^번째 모듈의 활성화를 나타냅니다.

모델 아키텍처. 모델 아키텍처는 모듈식 시스템의 각 모듈 또는 모놀리식 시스템의 개별 모듈에 대해 어떤 아키텍처가 선택되는지 설명합니다. 본 논문에서 연구자들은 다층 퍼셉트론(MLP), 다중 헤드 주의(MHA) 및 순환 신경망(RNN)의 사용을 고려합니다. MLP 기반 규칙과 같은 모델 아키텍처에 맞게 규칙(또는 데이터 생성 분포)을 조정하는 것이 중요합니다.

데이터 생성 프로세스

연구원들은 합성 데이터를 통해 모듈형 시스템을 탐색하는 것을 목표로 하므로 위에서 설명한 규칙 체계를 기반으로 데이터 생성 프로세스를 자세히 설명합니다. 특히 연구원들은 다양한 모듈이 규칙의 다양한 전문가를 위해 특화될 수 있기를 바라면서 단순한 전문가 혼합(MoE) 스타일 데이터 생성 프로세스를 사용했습니다.

MLP, MHA 및 RNN의 세 가지 모델 아키텍처에 대한 데이터 생성 프로세스를 설명합니다. 또한 각 작업 아래에는 회귀와 분류라는 두 가지 버전이 있습니다.

MLP. 연구진은 모듈형 MLP 시스템을 기반으로 학습에 적합한 데이터 체계를 정의했습니다. 이 합성 데이터 생성 체계에서 데이터 샘플은 두 개의 독립적인 숫자와 일부 분포에서 샘플링된 정규 선택으로 구성됩니다. 서로 다른 규칙은 두 숫자의 서로 다른 선형 조합을 생성하여 출력을 제공합니다. 즉, 선형 조합의 선택은 아래 방정식 4-6에 표시된 것처럼 규칙에 따라 동적으로 인스턴스화됩니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

MHA. 이제 연구자들은 모듈식 MHA 시스템에서 학습을 위해 조정된 데이터 체계를 정의했습니다. 따라서 그들은 다음 속성을 가진 데이터 생성 분포를 설계했습니다. 각 규칙은 서로 다른 검색 및 검색 개념과 검색된 정보의 최종 선형 조합으로 구성됩니다. 연구자들은 아래의 방정식 7-11에서 이 과정을 수학적으로 설명합니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

RNN. 순환 시스템의 경우 연구원들은 여러 규칙 중 하나가 언제든지 트리거될 수 있는 선형 동적 시스템에 대한 규칙을 정의했습니다. 수학적으로 이 프로세스는 아래의 방정식 12-15에 나와 있습니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

Model

일부 이전 연구에서는 엔드투엔드 훈련 모듈 시스템이 특히 분산 환경에서 모놀리식 시스템보다 우수하다고 주장했습니다. 그러나 이러한 모듈형 시스템의 이점과 데이터 생성 분포를 기반으로 실제로 특화되는지에 대한 상세하고 심층적인 분석은 없습니다.

따라서 연구원들은 다양한 수준의 전문화를 허용하는 네 가지 모델 범주, 즉 모놀리식(단일), 모듈형(모듈형), Modular-op 및 GT-Modular를 고려했습니다. 아래 표 1은 이러한 모델을 보여줍니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

모놀리식. 모놀리식 시스템은 전체 데이터 세트(x, c)를 입력으로 사용하고 이를 기반으로 y^를 예측하는 대규모 신경망입니다. 시스템에서 명시적으로 구운 시스템의 모듈성 또는 희소성은 귀납적 편견을 겪지 않으며 전적으로 역전파에 의존하여 작업을 해결하는 데 필요한 기능적 형태를 학습합니다.

모듈식. 모듈형 시스템은 여러 모듈로 구성되며 각 모듈은 특정 아키텍처 유형(MLP, MHA 또는 RNN)의 신경망입니다. 각 모듈 m은 데이터 (x, c)를 입력으로 사용하고 출력 yˆ_m과 신뢰도 점수를 계산합니다. 이는 모듈 전체에서 활성화 확률 p_m으로 정규화됩니다.

모듈식 작동. 모듈식 운영 체제는 한 가지 차이점을 제외하면 모듈식 시스템과 매우 유사합니다. 모듈 m의 활성화 확률 p_m을 (x, c)의 함수로 정의하는 대신 연구원들은 활성화가 규칙 컨텍스트 C에 의해서만 결정된다는 것을 확인했습니다.

GT-모듈러. 진정한 가치의 모듈형 시스템은 Oracle 벤치마크, 즉 완벽하게 특화된 모듈형 시스템 역할을 합니다.

연구원들은 모놀리식에서 GT-모듈형에 이르기까지 모델에 모듈성과 희박성을 위한 귀납적 편견이 점점 더 많이 포함되어 있음을 보여줍니다.

측정항목

모듈형 시스템을 안정적으로 평가하기 위해 연구원들은 이러한 시스템의 성능 이점을 측정할 뿐만 아니라 붕괴와 전문화라는 두 가지 중요한 형태로 평가하는 일련의 측정항목을 제안했습니다.

성능. 첫 번째 평가 지표 세트는 분포 내 및 분포 외(OoD) 설정의 성능을 기반으로 하며 다양한 작업에 대한 다양한 모델의 성능을 반영합니다. 분류 설정의 경우 분류 오류를 보고하고 회귀 설정의 경우 손실을 보고합니다.

충돌. 연구원들은 모듈식 시스템이 직면하는 붕괴의 양(즉, 모듈이 충분히 활용되지 않는 정도)을 정량화하기 위해 Collapse-Avg 및 Collapse-Worst라는 일련의 측정항목을 제안했습니다. 아래 그림 2에서는 모듈 3이 사용되지 않는 것을 볼 수 있는 예를 보여줍니다.

전문화. 붕괴 지표를 보완하기 위해 우리는 모듈식 시스템에 의해 달성된 전문화 정도를 정량화하는 (1) 정렬, (2) 적응 및 (3) 역 상호 정보라는 일련의 지표를 제안합니다.

Experiments

아래 그림은 GT-Modular 시스템이 대부분의 경우 최적이라는 것을 보여주며(왼쪽), 이는 전문화가 유익하다는 것을 보여줍니다. 또한 표준 엔드투엔드 훈련 모듈형 시스템과 모놀리식 시스템 사이에서 전자가 후자보다 성능이 뛰어나지만 그다지 큰 차이는 없다는 것을 알 수 있습니다. 이 두 가지 파이 차트는 현재의 엔드투엔드 교육용 모듈식 시스템이 우수한 전문화를 달성하지 못하여 대체로 차선책임을 보여줍니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

그런 다음 연구에서는 특정 아키텍처 선택을 살펴보고 점점 더 많은 규칙에 걸쳐 해당 아키텍처의 성능과 추세를 분석합니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다

그림 4는 완벽하게 특화된 시스템(GT-Modular)이 이점을 가져오는 반면, 엔드 투 엔드 교육을 위한 일반적인 모듈형 시스템은 차선책이며 특히 규칙 수가 증가함에 따라 이러한 이점을 얻을 수 없음을 보여줍니다. 또한 이러한 엔드투엔드 모듈식 시스템은 모놀리식 시스템보다 성능이 뛰어난 경우가 많지만 그 이점은 일반적으로 작습니다.

모듈식 기계 학습 시스템으로 충분합니까? 벤지오 선생님과 학생들이 답을 알려드립니다