일반적인 작업! Tsinghua, 선형 복잡성 달성을 위해 백본 네트워크 Flowformer 제안 |

과제 보편성은 기초모델 연구의 핵심 목표 중 하나이자, 딥러닝 연구가 첨단지능으로 이어지는 유일한 길이기도 합니다. 최근 몇 년 동안 어텐션 메커니즘의 범용 키 모델링 기능 덕분에 Transformer는 여러 분야에서 좋은 성과를 거두었으며 점차 범용 아키텍처의 추세를 보여 왔습니다. 그러나 시퀀스의 길이가 길어질수록 표준 주의 메커니즘의 계산은 2차 복잡성을 나타내므로 긴 시퀀스 모델링 및 대규모 모델에 적용하는 데 심각한 방해가 됩니다.

이를 위해 칭화 대학교 소프트웨어 학교 팀은 이 핵심 문제를 깊이 탐구하고 선형성을 유지하면서 복잡성을 표준 Transformer로 줄이는 작업 범용 선형 복잡도 백본 네트워크 Flowformer를 제안했습니다. 이 논문은 ICML 2022에서 승인되었습니다.

작성자 목록: Wu Haixu, Wu Jialong, Xu Jiehui, Wang Jianmin, Long Mingsheng

링크: https://arxiv.org/pdf/2202.06258.pdf

코드: https://github.com/thuml/Flowformer

표준 Transformer와 비교하여, 이 글에서 제안하는 Flowformer 모델은 다음과 같은 특징을 가지고 있습니다:

• 선형 복잡성, 수천 길이의 입력을 처리합니다.
• 새로운 유도 선호도를 도입하지 않으며
• Task universal, 긴 시퀀스, 비전, 자연스러운 기능을 유지합니다. 언어, 시계열, 강화학습 5가지 주요 과제에서 탁월한 결과를 얻습니다.

1. 문제 분석

표준 주의 메커니즘 입력은 쿼리(), 키() 및 값()의 세 부분으로 구성되며 계산 방법은 다음과 같습니다. 주의 가중치 행렬은 어디에 있고 최종 계산 결과는 가중 융합으로부터 얻어지며, 위 과정의 계산 복잡도는 다음과 같습니다. 고전 알고리즘에서 다항 행렬의 연속 곱셈 문제에 대한 많은 연구가 있었다는 것을 알 수 있다. 특히 주의 메커니즘의 경우 행렬 곱셈의 결합 법칙을 사용하여 최적화를 달성할 수 있습니다. 예를 들어 원래의 2차 복잡도를 선형으로 줄일 수 있습니다. 그러나 주의 메커니즘의 기능으로 인해 결합법칙을 직접 적용하는 것은 불가능합니다. 따라서 Attention 메커니즘에서 기능을 제거하는 방법은 선형 복잡성을 달성하는 열쇠입니다. 그러나 최근의 많은 연구에서는 기능이 사소한 주의력 학습을 피하는 데 중요한 역할을 한다는 사실이 입증되었습니다. 요약하자면, 우리는 다음과 같은 목표를 달성하는 모델 설계 솔루션을 기대합니다: (1) 기능 제거, (2) 사소한 관심 방지, (3) 모델의 다양성 유지.

2. Motivation

목표(1)을 목표로, 전작에서는 함수 즉, 근사주의(비선형함수)로 계산하는 대체방법으로 커널법을 자주 사용했지만 직접 제거했다. 사소한 관심을 불러일으킬 것입니다. 이를 위해 목표 (2)에 대해 이전 작업 은 모델의 다양성을 제한하는 몇 가지 귀납적 선호도를 도입해야 했으며 따라서 cosFormer의 지역성 가정과 같은 목표 (3)을 충족하지 못했습니다.

Softmax의 경쟁 메커니즘

위의 목표를 달성하기 위해 분석의 기본 속성부터 시작합니다. 원래는 "승자 독식" 최대 연산을 미분 가능한 형태로 확장하는 것이 제안되었다는 점에 주목합니다. 따라서 내재된 "경쟁" 메커니즘 덕분에 토큰 간의 주의 가중치를 차별화하여 일반적인 주의 문제를 피할 수 있습니다. 위 고려 사항을 바탕으로 우리는 커널 메소드 분해로 인해 발생하는 사소한 Attention 문제를 피하기 위해 Attention 메커니즘 설계에 경쟁 메커니즘을 도입하려고 노력합니다.

네트워크 흐름의 경쟁 메커니즘

그래프 이론에서 고전적인 네트워크 흐름(Flow network) 모델에 주목합니다. "Conservation"(Conservation)은 중요한 현상, 즉 각 노드의 유입이 동일하다는 것입니다. 유출에. "고정 자원의 경우 경쟁은 필연적으로 발생한다"에서 영감을 받아 이 글에서는 고전적인 어텐션 메커니즘의 정보 흐름을 네트워크 흐름의 관점에서 재분석하고 어텐션 메커니즘에 경쟁을 도입하려고 합니다. 보존 속성을 통해 디자인하여 일상적인 주의 문제를 방지합니다.

3. Flowformer

3.1 네트워크 흐름의 관점에서 본 Attention 메커니즘

Attention 메커니즘 내부: 정보 흐름은 학습된 흐름 용량 을 기반으로 소스 (소스, 해당)에서 표현될 수 있습니다. (유량, 주의 가중치에 해당)는 sink(싱크대, 해당)로 수렴됩니다.

주의 메커니즘 외부에서 소스(v)의 정보는 네트워크의 상위 계층에서 가져오고 싱크(R)의 정보도 아래의 피드포워드 계층에 제공됩니다.

3.2 Flow-Attention

위의 관찰을 바탕으로 유입과 유출이라는 두 가지 관점에서 주의 메커니즘과 외부 네트워크 간의 상호 작용을 제어하여 "고정 자원"을 달성할 수 있습니다. 이로 인해 사소한 관심을 피하기 위해 소스와 싱크 내에서 각각 경쟁이 발생합니다. 일반성을 잃지 않고 Attention 메커니즘과 외부 네트워크 간의 상호 작용 정보의 양을 기본값인 1로 설정했습니다.

(1) 싱크(R)의 유입 보존:

얻는 것은 어렵지 않습니다. 보존 전, 1번째 싱크에 대해 유입되는 정보의 양은 입니다. 각 싱크로 유입되는 정보의 양을 단위 1로 고정하기 위해 정보 흐름(주의 가중치) 계산에서 정규화로 을 도입합니다. 정규화 후, 세 번째 싱크의 유입량 정보는 다음과 같습니다.

이때 싱크의 유입량 보존으로 인해 다양한 소스 간에 자연스러운 경쟁 관계(V)가 발생합니다. 이때 각 소스(V가 제공하는 정보의 양)는 경쟁 조건에서 각 소스가 제공하는 정보의 양으로, 이는 각 소스의 중요성을 나타냅니다.

(2) 소스 유출 보존(V): 앞서 설명한 프로세스와 유사하게, 보존 전, 번째 소스에 대해 유출되는 정보의 양은 입니다. 각 소스에서 흘러나오는 정보의 양을 단위 1로 고정하기 위해 정보 흐름(주의 가중치) 계산을 정규화로 도입합니다. 정규화 후 j번째 소스에서 유출되는 정보의 양은 입니다. 이때 소스로부터의 유출 보존으로 인해 싱크() 간에는 자연스러운 경쟁 관계가 존재합니다. 이때 각 싱크()가 수신하는 정보의 양을 계산하면 다음과 같은 결과를 얻을 수 있습니다. 대회의 각 결과에 필요한 최종 요구 사항은 수신된 정보의 양입니다.

(3) 전체 설계

위 결과를 바탕으로 다음과 같은 Flow-Attention 메커니즘을 설계했는데, 이는 구체적으로 경쟁, 집합, 할당의 세 부분으로 구성됩니다. 메커니즘이 다음과 같을 때 경쟁이 경쟁합니다. 도입되면 중요한 정보가 강조됩니다. 집계는 선형 복잡성을 달성하기 위해 행렬 결합 법칙을 기반으로 합니다. 할당은 경쟁 메커니즘을 도입하여 다음 계층으로 전달되는 정보의 양을 제어합니다. 위 프로세스의 모든 작업은 선형 복잡도를 갖습니다. 동시에 Flow-Attention의 설계는 네트워크 흐름의 보존 원칙에만 의존하고 정보 흐름을 재통합하므로 새로운 귀납적 선호도를 도입하지 않아 모델의 다양성을 보장합니다. Flowformer는 표준 Transformer의 2차 복잡도 Attention을 Flow-Attention으로 대체하여 얻습니다.

4. 실험

이 기사에서는 표준 데이터 세트에 대한 광범위한 실험을 수행했습니다.

• 긴 시퀀스, 비전, 자연어, 시계열 및 강화 학습의 5가지 주요 작업을 다루었습니다. 주의 메커니즘에는 일반 작업과 자동 회귀 작업(인과 관계)이라는 두 가지 유형이 있습니다.
• 다양한 시퀀스 길이(20-4000)의 입력 상황을 다룹니다.
• 다양한 분야의 클래식 모델, 주류 딥 모델, Transformer 및 그 변형 등 다양한 기준 방법을 비교합니다.

아래 표와 같이 Flowformer는 5가지 주요 작업 모두 잘 수행하여 모델의 다양성을 검증했습니다. 자세한 실험 결과는 논문을 참조하세요.

5. 분석

Flowformer의 작동 원리를 더 자세히 설명하기 위해 ImageNet 분류 작업(Flow-Attention에 해당)에서 Attention에 대한 시각적 실험을 수행했는데, 그 결과 다음을 확인할 수 있습니다.

• 선형 변환기와 같은 방법으로 커널 분해만 사용하면 모델이 산만해지고 핵심 영역을 효과적으로 캡처할 수 없습니다.
• 클래식 Transformer와 Flowformer 모두 이미지의 주요 위치를 정확하게 캡처할 수 있지만 후자는 계산 복잡성에 이점이 있습니다.
• cosFormer는 어텐션 메커니즘에 1차원 지역성 가정을 도입하여 언어 작업에 뛰어난 영향을 미칩니다. 그러나 이미지(2D 데이터를 1D 시퀀스로 전개)에서는 위치 가정을 2차원으로 확장하지 않고는 비전 작업에 적용할 수 없습니다. 이는 또한 "새로운 유도적 선호도를 도입하지 않는" Flowformer 설계 방법의 장점을 확인시켜 줍니다.

위의 시각화는 Flow-Attention을 통해 주의 메커니즘 설계에 경쟁을 도입하면 사소한 주의를 효과적으로 피할 수 있음을 보여줍니다. 더 많은 시각화 실험을 논문에서 찾아볼 수 있습니다.

6. 요약

본 글에서 제안하는 Flowformer는 네트워크 흐름의 보존 원리를 디자인에 도입하고 Attention 계산에 경쟁 메커니즘을 자연스럽게 도입하여 사소한 Attention 문제를 효과적으로 피하고 동시에 선형 복잡성을 달성합니다. 시간이 지나도 표준 Transformer의 다양성은 유지됩니다. Flowformer는 긴 시퀀스, 비전, 자연어, 시계열 및 강화 학습이라는 5가지 주요 작업에서 탁월한 결과를 얻었습니다. 또한, Flowformer의 "특별한 인덕션 선호 없음"이라는 디자인 컨셉은 일반 인프라 연구에도 영감을 줍니다. 향후 작업에서는 대규모 사전 훈련을 위한 Flowformer의 잠재력을 더 자세히 탐구할 것입니다.

위 내용은 일반적인 작업! Tsinghua, 선형 복잡성 달성을 위해 백본 네트워크 Flowformer 제안 |의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!