목차
Swish
Gated Linear Unit
SwiGLU
Pytorch의 간단한 구현
SwiGLU의 효과 비교
기술 주변기기 일체 포함 대규모 언어 모델이 SwiGLU를 활성화 기능으로 사용하는 이유는 무엇입니까?

대규모 언어 모델이 SwiGLU를 활성화 기능으로 사용하는 이유는 무엇입니까?

Apr 08, 2024 pm 09:31 PM
대규모 언어 모델 swiglu

대형 언어 모델의 아키텍처에 관심을 가져왔다면 최신 모델과 연구 논문에서 "SwiGLU"라는 용어를 본 적이 있을 것입니다. SwiGLU는 대규모 언어 모델에서 가장 일반적으로 사용되는 활성화 함수라고 할 수 있습니다. 이 기사에서는 이에 대해 자세히 소개하겠습니다. SwiGLU는 실제로 Google이 2020년에 제안한 활성화 기능으로 SWISH와 GLU의 특성을 결합한 것입니다. SwiGLU의 전체 중국어 이름은 "양방향 게이트 선형 장치"입니다. SWISH와 GLU라는 두 가지 활성화 기능을 최적화하고 결합하여 모델의 비선형 표현 능력을 향상시킵니다. SWISH는 대규모 언어 모델에서 널리 사용되는 매우 일반적인 활성화 함수인 반면, GLU는 자연어 처리 작업에서 잘 수행됩니다. SwiGLU의 장점은 SWISH의 Smoothing 특성과 GLU의 Gating 특성을 동시에 얻을 수 있어 모델의 비선형적 표현을 더욱 돋보이게 한다는 점입니다

为什么大型语言模型都在使用 SwiGLU 作为激活函数?

하나씩 소개하겠습니다.

Swish

Swish는 다음과 같이 정의된 비선형 활성화 함수입니다.

Swish(x) = x*sigmoid(ßx)
로그인 후 복사

为什么大型语言模型都在使用 SwiGLU 作为激活函数?

여기서 ß는 학습 가능한 매개변수입니다. Swish는 더 부드러운 전환을 제공하여 더 나은 최적화로 이어질 수 있으므로 ReLU 활성화 함수보다 더 나을 수 있습니다.

Gated Linear Unit

GLU(Gated Linear Unit)는 두 개의 선형 변환의 구성요소 제품으로 정의되며, 그 중 하나는 시그모이드에 의해 활성화됩니다.

GLU(x) = sigmoid(W1x+b)⊗(Vx+c)
로그인 후 복사

为什么大型语言模型都在使用 SwiGLU 作为激活函数?

GLU 모듈은 LSTM 및 GRU와 같은 다른 게이팅 메커니즘과 관련된 사라지는 그라데이션 문제 중 일부를 피하면서 시퀀스의 장거리 종속성을 효과적으로 캡처할 수 있습니다.

SwiGLU

우리는 이미 SwiGLU가 이 둘의 조합이라고 말했습니다. GLU이지만 활성화 함수로 시그모이드를 사용하는 대신 ß=1인 swish를 사용하므로 다음 공식으로 끝납니다.

SwiGLU(x) = Swish(W1x+b)⊗(Vx+c)
로그인 후 복사

SwiGLU 함수를 사용하여 피드포워드 네트워크를 구성합니다

FFNSwiGLU(x) = (Swish1(xW)⊗xV)W2
로그인 후 복사

Pytorch의 간단한 구현

위의 수학적 원리가 번거롭고 지루해 보인다면 아래 코드를 사용하여 직접 설명하겠습니다.

class SwiGLU(nn.Module): def __init__(self, w1, w2, w3) -> None:super().__init__()self.w1 = w1self.w2 = w2self.w3 = w3 def forward(self, x):x1 = F.linear(x, self.w1.weight)x2 = F.linear(x, self.w2.weight)hidden = F.silu(x1) * x2return F.linear(hidden, self.w3.weight)
로그인 후 복사

우리 코드에서 사용한 F.silu 함수는 ß=1일 때 swish와 동일하므로 직접 사용합니다.

코드에서 볼 수 있듯이 활성화 함수에는 훈련할 수 있는 3개의 가중치가 있는데, 이는 GLU 공식의 매개변수입니다.

SwiGLU의 효과 비교

SwiGLU를 다른 GLU 변형과 비교하면 SwiGLU가 두 사전 훈련 기간 동안 더 나은 성능을 발휘한다는 것을 알 수 있습니다.

为什么大型语言模型都在使用 SwiGLU 作为激活函数?

다운스트림 작업

为什么大型语言模型都在使用 SwiGLU 作为激活函数?

은 최고의 성능을 제공하므로 이제 LLAMA, OLMO 및 PALM과 같은 llm은 모두 구현에 SwiGLU를 사용합니다. 그런데 왜 SwiGLU가 다른 것보다 나은가요?

이 문서는 테스트 결과만 제공하고 이유를 설명하지 않았습니다. 대신 다음과 같이 말했습니다.

우리는 이러한 아키텍처가 작동하는 것처럼 보이는 이유에 대해 설명하지 않습니다.

저자는 연금술이 성공했다고 했어요.

지금은 2024년이고 이를 강력하게 설명할 수 있습니다.

1 음수 값에 대한 Swish의 상대적으로 작은 반응은 일부 뉴런의 출력이 항상 0이라는 ReLU의 단점을 극복합니다

2. GLU의 게이팅 특성은 입력 상황에 따라 어떤 정보를 통과해야 하고 어떤 정보를 필터링해야 하는지 결정할 수 있음을 의미합니다. 이 메커니즘을 통해 네트워크는 유용한 표현을 보다 효과적으로 학습할 수 있으며 모델의 일반화 능력을 향상시키는 데 도움이 됩니다. 대규모 언어 모델에서 이는 장거리 종속성이 있는 긴 텍스트 시퀀스를 처리하는 데 특히 유용합니다.

3 SwiGLU의 매개변수 W1, W2, W3, b1, b2, b3 W1, W2, W3, b1, b2, b3은 학습을 통해 학습할 수 있으므로 모델은 다양한 매개변수에 따라 이러한 매개변수를 동적으로 조정할 수 있습니다. 작업 및 데이터 세트 강화된 모델 유연성 및 적응성.

4. 좋은 성능을 유지하면서도 계산 효율성은 좀 더 복잡한 활성화 함수(예: GELU)보다 높습니다. 이는 대규모 언어 모델의 훈련 및 추론을 위한 중요한 고려 사항입니다.

비선형 기능, 게이팅 특성, 기울기 안정성 및 학습 가능한 매개변수의 장점을 결합하기 때문에 SwiGLU를 대규모 언어 모델의 활성화 함수로 선택합니다. SwiGLU는 복잡한 의미 관계와 언어 모델의 긴 종속성 문제를 처리하고 훈련 안정성과 계산 효율성을 유지하는 데 탁월한 성능을 제공하므로 널리 채택됩니다.

문서 주소

https://www.php.cn/link/86e33d550dc162366a02003089ab9894

위 내용은 대규모 언어 모델이 SwiGLU를 활성화 기능으로 사용하는 이유는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

대규모 언어 모델이 SwiGLU를 활성화 기능으로 사용하는 이유는 무엇입니까? 대규모 언어 모델이 SwiGLU를 활성화 기능으로 사용하는 이유는 무엇입니까? Apr 08, 2024 pm 09:31 PM

대규모 언어 모델의 아키텍처에 관심을 가져왔다면 최신 모델과 연구 논문에서 "SwiGLU"라는 용어를 본 적이 있을 것입니다. SwiGLU는 대규모 언어 모델에서 가장 일반적으로 사용되는 활성화 함수라고 할 수 있습니다. 이 기사에서는 이에 대해 자세히 소개하겠습니다. SwiGLU는 실제로 Google이 2020년에 제안한 활성화 기능으로 SWISH와 GLU의 특성을 결합한 것입니다. SwiGLU의 전체 중국어 이름은 "양방향 게이트 선형 장치"입니다. SWISH와 GLU라는 두 가지 활성화 기능을 최적화하고 결합하여 모델의 비선형 표현 능력을 향상시킵니다. SWISH는 대규모 언어 모델에서 널리 사용되는 매우 일반적인 활성화 함수인 반면, GLU는 자연어 처리 작업에서 좋은 성능을 보였습니다.

미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. 미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. Jun 11, 2024 pm 03:57 PM

LLM(대형 언어 모델)은 대규모 텍스트 데이터베이스에서 훈련되어 대량의 실제 지식을 습득합니다. 이 지식은 매개변수에 내장되어 필요할 때 사용할 수 있습니다. 이러한 모델에 대한 지식은 훈련이 끝나면 "구체화"됩니다. 사전 훈련이 끝나면 모델은 실제로 학습을 중단합니다. 모델을 정렬하거나 미세 조정하여 이 지식을 활용하고 사용자 질문에 보다 자연스럽게 응답하는 방법을 알아보세요. 그러나 때로는 모델 지식만으로는 충분하지 않을 때도 있으며, 모델이 RAG를 통해 외부 콘텐츠에 접근할 수 있더라도 미세 조정을 통해 모델을 새로운 도메인에 적응시키는 것이 유익한 것으로 간주됩니다. 이러한 미세 조정은 인간 주석 작성자 또는 기타 LLM 생성자의 입력을 사용하여 수행됩니다. 여기서 모델은 추가적인 실제 지식을 접하고 이를 통합합니다.

FAISS 벡터 공간을 시각화하고 RAG 매개변수를 조정하여 결과 정확도 향상 FAISS 벡터 공간을 시각화하고 RAG 매개변수를 조정하여 결과 정확도 향상 Mar 01, 2024 pm 09:16 PM

오픈 소스 대규모 언어 모델의 성능이 지속적으로 향상됨에 따라 코드, 권장 사항, 텍스트 요약 및 QA(질문 응답) 쌍 작성 및 분석 성능이 모두 향상되었습니다. 그러나 QA와 관련하여 LLM은 훈련되지 않은 데이터와 관련된 문제가 부족한 경우가 많으며 규정 준수, 영업 비밀 또는 개인 정보 보호를 보장하기 위해 많은 내부 문서가 회사 내에 보관됩니다. 이러한 문서를 쿼리하면 LLM은 환각을 느끼고 관련이 없거나 조작되었거나 일관성이 없는 콘텐츠를 생성할 수 있습니다. 이 문제를 처리할 수 있는 기술 중 하나는 검색 증강 생성(RAG)입니다. 여기에는 생성의 품질과 정확성을 향상시키기 위해 훈련 데이터 소스를 넘어 권위 있는 지식 기반을 참조하여 응답을 향상시키는 프로세스가 포함됩니다. RAG 시스템에는 코퍼스에서 관련 문서 조각을 검색하기 위한 검색 시스템이 포함되어 있습니다.

자가 게임 미세 조정 훈련을 위한 SPIN 기술을 활용한 LLM 최적화 자가 게임 미세 조정 훈련을 위한 SPIN 기술을 활용한 LLM 최적화 Jan 25, 2024 pm 12:21 PM

2024년은 LLM(대형 언어 모델)이 급속히 발전하는 해입니다. LLM 훈련에서 정렬 방법은 인간의 선호도에 의존하는 지도형 미세 조정(SFT) 및 인간 피드백을 통한 강화 학습(RLHF)을 포함하는 중요한 기술적 수단입니다. 이러한 방법은 LLM 개발에 중요한 역할을 해왔지만 정렬 방법에는 수동으로 주석을 단 대량의 데이터가 필요합니다. 이러한 과제에 직면하여 미세 조정은 활발한 연구 분야가 되었으며, 연구자들은 인간 데이터를 효과적으로 활용할 수 있는 방법을 개발하기 위해 적극적으로 노력하고 있습니다. 따라서 정렬 방법의 개발은 LLM 기술의 획기적인 발전을 촉진할 것입니다. 캘리포니아 대학교에서는 최근 SPIN(SelfPlayfInetuNing)이라는 신기술을 도입하는 연구를 진행했습니다. 에스

지식 그래프를 활용하여 RAG 모델의 기능을 향상하고 대형 모델의 잘못된 인상을 완화합니다. 지식 그래프를 활용하여 RAG 모델의 기능을 향상하고 대형 모델의 잘못된 인상을 완화합니다. Jan 14, 2024 pm 06:30 PM

환각은 LLM(대형 언어 모델)으로 작업할 때 흔히 발생하는 문제입니다. LLM은 매끄럽고 일관된 텍스트를 생성할 수 있지만 생성되는 정보는 부정확하거나 일관성이 없는 경우가 많습니다. LLM의 환각을 방지하기 위해 데이터베이스나 지식 그래프와 같은 외부 지식 소스를 사용하여 사실 정보를 제공할 수 있습니다. 이러한 방식으로 LLM은 신뢰할 수 있는 데이터 소스를 활용하여 보다 정확하고 신뢰할 수 있는 텍스트 콘텐츠를 얻을 수 있습니다. 벡터 데이터베이스 및 지식 그래프 벡터 데이터베이스 벡터 데이터베이스는 개체나 개념을 나타내는 고차원 벡터 집합입니다. 이는 벡터 표현을 통해 계산된 다양한 엔터티 또는 개념 간의 유사성 또는 상관 관계를 측정하는 데 사용할 수 있습니다. 벡터 데이터베이스는 벡터 거리를 기반으로 "Paris"와 "France"가 "Paris"와 "France"보다 더 가깝다는 것을 알려줄 수 있습니다.

대형 모델에서 일반적으로 사용되는 Attention 메커니즘인 GQA와 Pytorch 코드 구현에 대한 자세한 설명 대형 모델에서 일반적으로 사용되는 Attention 메커니즘인 GQA와 Pytorch 코드 구현에 대한 자세한 설명 Apr 03, 2024 pm 05:40 PM

GroupedQueryAttention은 대규모 언어 모델의 다중 쿼리 주의 방법입니다. 그 목표는 MQA의 속도를 유지하면서 MHA의 품질을 달성하는 것입니다. GroupedQueryAttention 그룹 쿼리와 각 그룹 내의 쿼리는 동일한 주의 가중치를 공유하므로 계산 복잡성을 줄이고 추론 속도를 높이는 데 도움이 됩니다. 이번 글에서는 GQA의 개념과 이를 코드로 변환하는 방법에 대해 설명하겠습니다. GQA는 GQA:TrainingGeneralizedMulti-QueryTransformerModelsfromMulti-HeadCheckpoint 논문에 있습니다.

RoSA: 대규모 모델 매개변수를 효율적으로 미세 조정하기 위한 새로운 방법 RoSA: 대규모 모델 매개변수를 효율적으로 미세 조정하기 위한 새로운 방법 Jan 18, 2024 pm 05:27 PM

언어 모델이 전례 없는 규모로 확장됨에 따라 다운스트림 작업에 대한 포괄적인 미세 조정 비용이 엄청나게 높아집니다. 이러한 문제를 해결하기 위해 연구자들은 PEFT 방식에 주목하고 채택하기 시작했다. PEFT 방법의 주요 아이디어는 미세 조정 범위를 작은 매개변수 세트로 제한하여 계산 비용을 줄이면서도 자연어 이해 작업에서 최첨단 성능을 달성하는 것입니다. 이러한 방식으로 연구자들은 고성능을 유지하면서 컴퓨팅 리소스를 절약할 수 있어 자연어 처리 분야에 새로운 연구 핫스팟을 가져올 수 있습니다. RoSA는 일련의 벤치마크에 대한 실험을 통해 동일한 매개변수 예산을 사용하는 이전 LoRA(낮은 순위 적응형) 및 순수 희소 미세 조정 방법보다 성능이 뛰어난 것으로 밝혀진 새로운 PEFT 기술입니다. 이 기사에서는 심층적으로 다룰 것입니다.

LLMLingua: LlamaIndex 통합, 힌트 압축 및 효율적인 대규모 언어 모델 추론 서비스 제공 LLMLingua: LlamaIndex 통합, 힌트 압축 및 효율적인 대규모 언어 모델 추론 서비스 제공 Nov 27, 2023 pm 05:13 PM

LLM(대형 언어 모델)의 출현은 여러 분야에서 혁신을 촉진했습니다. 그러나 CoT(사고 사슬) 프롬프트 및 ICL(상황별 학습)과 같은 전략에 의해 프롬프트가 점점 복잡해지면서 컴퓨팅 문제가 발생합니다. 이러한 긴 프롬프트에는 추론을 위한 상당한 리소스가 필요하므로 효율적인 솔루션이 필요합니다. 이 기사에서는 효율적인 추론을 수행하기 위해 독점적인 LlamaIndex와 LLMLingua의 통합을 소개합니다. LLMLingua는 Microsoft 연구원이 EMNLP2023에서 발표한 논문입니다. LongLLMLingua는 빠른 압축을 통해 긴 컨텍스트 시나리오에서 핵심 정보를 인식하는 llm의 능력을 향상시키는 방법입니다. LLMLingua 및 lamindex

See all articles