Transformer 기술 원리 개요

1. 서문

최근 AIGC(AI-Generated Content)가 빠르게 발전하며 소비자들의 관심을 끌 뿐만 아니라 기술계와 업계에서도 주목받고 있습니다. 2022년 9월 23일, Sequoia America는 AIGC가 새로운 패러다임 전환의 시작을 대표할 것이라고 믿으며 "Generative AI: A Creative New World"라는 기사를 게재했습니다. 2022년 10월 Stability AI는 사용자가 입력한 텍스트 설명(프롬프트라고 함)을 기반으로 이미지를 자동으로 생성할 수 있는 오픈 소스 모델 Stable Diffusion을 출시했습니다. 즉, Stable Diffusion, DALL-E 2, Midjourney, Wenxin Yige입니다. 등 그림을 생성할 수 있는 AIGC 모델이 AI 페인팅 분야를 폭발시켰고, AI 페인팅이 대중화되면서 예술 분야에도 인공지능이 침투하게 되었습니다. 아래 사진은 바이두의 '원신이거' 플랫폼이 '미래메카'를 주제로 제작한 작품이다.

그림 1 Baidu의 "Wenxin Yige" 플랫폼이 만든 AI 페인팅

AIGC 분야의 급속한 발전은 심층 신경망의 발전과 불가분의 관계에 있습니다. 특히, Transform 모델의 출현은 신경망에 더욱 강력한 글로벌 컴퓨팅 기능을 제공하고, 네트워크 훈련에 소요되는 시간을 줄이며, 네트워크 모델의 성능을 향상시킵니다. 상대적으로 잘 수행되는 현재 AIGC 도메인 모델에는 기본 기술 아키텍처에 Attention 및 Transform 기술이 포함되어 있습니다.

2. 개발 역사

2.1 심층신경망

심층신경망으로 대표되는 정보기술의 발전은 인공지능 분야의 발전과 확장을 촉진시켰습니다. 2006년에 Hinton et al.은 단일 레이어 RBM 자동 인코딩 사전 훈련을 사용하여 심층 신경망 훈련을 실현했으며, 2012년에는 Hinton과 Alex Krizhevsky가 설계한 AlexNet 신경망 모델이 ImageNet 대회에서 이미지 인식 및 분류를 달성했습니다. 인공지능 발전의 출발점. 현재 널리 사용되는 심층 신경망은 생물학적 신경망에서 제안된 개념을 모델로 합니다. 생물학적 신경망에서 생물학적 뉴런은 수신된 정보를 계층별로 전달하고, 여러 뉴런의 정보를 집계하여 최종 결과를 얻습니다. 생물학적 신경 단위와 유사하게 설계된 논리적 신경 단위를 사용하여 구축된 수학적 모델을 인공 신경망이라고 합니다. 인공 신경망에서는 입력 데이터와 출력 데이터 사이의 숨겨진 관계를 탐색하는 데 논리 신경 단위가 사용됩니다. 데이터의 양이 적을 경우 얕은 신경망은 일부 작업의 요구 사항을 충족할 수 있습니다. 증가, 확장, 심층 신경망은 고유한 장점을 보여주기 시작합니다.

2.2 Attention Mechanism

Attention Mechanism은 Bengio팀에서 2014년에 제안한 것으로 최근에는 이미지 캡처를 위한 컴퓨터 비전 등 딥러닝의 다양한 분야에서 널리 사용되고 있습니다. NLP에서 키 토큰이나 기능을 찾으려면 수많은 실험을 통해 주의 메커니즘을 갖춘 모델이 이미지 분류, 분할, 추적, 향상, 자연어 인식, 이해, 질문 응답 및 번역 분야에서 상당한 개선을 달성했음이 입증되었습니다.

주의 메커니즘은 시각적 주의 메커니즘을 모델로 합니다. 시각적 주의 메커니즘은 인간 두뇌의 타고난 능력입니다. 우리는 사진을 볼 때 먼저 사진을 빠르게 스캔한 다음 초점을 맞춰야 할 대상 영역에 초점을 맞춥니다. 예를 들어, 다음 사진을 보면 우리의 관심은 쉽게 아기의 얼굴, 기사 제목, 기사의 첫 문장에 집중됩니다. 상상해 보십시오. 모든 지역 정보를 방치하지 않으면 분명히 많은 에너지를 소비하게 될 것이며 이는 인류의 생존과 진화에 도움이 되지 않습니다. 마찬가지로, 딥러닝 네트워크에 유사한 메커니즘을 도입하면 모델을 단순화하고 계산 속도를 높일 수 있습니다. 본질적으로 이해하면 Attention은 많은 양의 정보에서 소량의 중요한 정보를 걸러내고 이 중요한 정보에 집중하고 중요하지 않은 정보는 대부분 무시하는 것입니다.

그림 2 인간 주의 메커니즘의 개략도

3.

지능형 Transformer 모델은 전통적인 CNN 및 RNN 단위를 버리고 전체 네트워크 구조가 전적으로 주의 메커니즘으로 구성됩니다. 이번 장에서는 먼저 Transformer 모델의 전반적인 과정을 소개하고, 이후에 관련된 위치 인코딩 정보와 Self-Attention 계산에 대해 자세히 소개하겠습니다.

3.1 프로세스 개요

그림 3 주의 메커니즘 흐름 차트

위 그림에 표시된 대로 Transformer는 인코더 모듈과 De의 두 부분으로 구성됩니다. 코더 모듈 구성, ​​인코더와 디코더 모두 N개의 블록을 포함합니다. 번역 작업을 예로 들면 Transformer의 작업 흐름은 대략 다음과 같습니다.

1단계: 입력 문장의 각 단어에 대한 표현 벡터 X를 얻습니다. X는 단어 자체의 Embedding과 다음의 Embedding을 추가하여 얻습니다. 위치라는 단어.

2단계: 획득한 단어 표현 벡터 행렬을 인코더 모듈에 전달합니다. 인코더 모듈은 Attention 메서드를 사용하여 입력 데이터를 계산합니다. N개의 Encoder 모듈 이후에는 문장 내 모든 단어의 인코딩 정보 행렬을 얻을 수 있습니다. 각 Encoder 모듈에서 출력되는 행렬 차원은 입력과 정확히 동일합니다.

3단계: Encoder 모듈에서 출력된 인코딩 정보 매트릭스를 Decoder 모듈에 전달하면 Decoder는 현재 번역된 단어 i를 기반으로 다음 단어 i+1을 번역합니다. Encoder 구조와 마찬가지로 Decoder 구조도 Attention 메서드를 사용하여 계산합니다. 사용 중 i+1 단어로 번역할 때 i+1 뒤의 단어를 가리기 위해 Mask 작업을 사용해야 합니다.

3.2 Self-Attention 계산

Transform 모델의 핵심은 Attention 계산이며, 이는 다음과 같은 수식으로 표현할 수 있습니다.

여기서 Q, K, V는 각각 Query, Key, 가치, 이 세 가지 개념은 간단한 검색 예로 정보 검색 시스템에서 가져온 것입니다. 전자상거래 플랫폼에서 상품을 검색할 때, 검색 엔진에 입력한 내용이 Query이고, 검색 엔진은 Query를 기반으로 Key(종류, 색상, 설명 등)를 매칭해 줍니다. ) 제품의 Query와 Key의 유사성을 기반으로 일치하는 내용(Value)을 가져옵니다.

self-attention의 Q, K, V도 비슷한 역할을 합니다. 행렬 계산에서 내적은 두 행렬의 유사도를 계산하는 방법 중 하나이므로 Q 행렬에 K 행렬을 곱한 값을 사용합니다. 위의 공식은 유사도를 계산하기 위해 전치(transposition)를 사용합니다. 내적이 너무 커지는 것을 방지하기 위해서는 d의 제곱근으로 나누어야 하며, 마지막으로 그 결과에 소프트맥스 활성화 함수를 적용한다.

3.3 위치 인코딩

단어 자체의 임베딩 외에도 Transformer는 문장에서 단어가 나타나는 위치를 나타내기 위해 위치 임베딩을 사용해야 합니다. Transformer는 RNN의 구조를 사용하지 않고 전역적인 정보를 사용하기 때문에 단어의 순서 정보를 사용할 수 없으며, 이 부분의 정보는 NLP나 CV에서 매우 중요합니다. 따라서 Transformer에서는 position Embedding을 사용하여 시퀀스에서 단어의 상대 또는 절대 위치를 저장합니다.

Position Embedding은 PE로 표현되며, PE의 차원은 Embedding이라는 단어와 같습니다. PE는 훈련을 통해 얻거나 특정 공식을 사용하여 계산할 수 있습니다. 후자는 Transformer에서 사용되며 계산식은 다음과 같습니다.

여기서 pos는 문장 내 단어의 위치를 ​​나타내고, d는 PE의 차원을 나타내며 크기는 Embedding과 동일합니다. 단어 자체에서 2i는 짝수 차원을 나타내고, 2i+1은 홀수 차원을 나타냅니다.

4. 요약

Transformer의 초점은 Self-Attention 구조입니다. 네트워크는 다차원 Attention 구조를 통해 단어 간의 숨겨진 관계를 다차원적으로 포착할 수 있습니다. 그러나 Transformer 자체는 단어의 순서 정보를 사용할 수 없으므로 위치 Embedding이 필요합니다. 를 입력에 추가하여 단어의 위치 정보를 저장하는 데 사용됩니다. 순환 신경망과 비교하여 Transformer 네트워크는 컨벌루션 신경망과 비교하여 Transformer 네트워크가 두 위치 간의 연관성을 계산하는 데 필요한 작업 수가 거리에 따라 증가하지 않아 병렬로 더 잘 훈련될 수 있습니다. 계산된 거리는 수용 필드의 크기로 제한됩니다. 동시에 Transformer 네트워크는 더 해석 가능한 모델을 생성할 수 있습니다. 모델을 통해 주의 분포를 조사할 수 있으며, 각 주의 머리는 서로 다른 작업을 수행하는 방법을 학습할 수 있습니다.

위 내용은 Transformer 기술 원리 개요의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!