목차
반복 신경망(RNN)
RNN의 장점
RNN의 단점
장단기 기억(LSTM)
LSTM의 장점
LSTM의 단점
GRU(Gated Recurrent Unit)
GRU의 장점
GRU의 단점
기술 주변기기 일체 포함 RNN, LSTM 및 GRU의 개념, 차이점, 장점 및 단점을 살펴보세요.

RNN, LSTM 및 GRU의 개념, 차이점, 장점 및 단점을 살펴보세요.

Jan 22, 2024 pm 07:51 PM
일체 포함 기계 학습 인공 신경망

RNN, LSTM 및 GRU의 개념, 차이점, 장점 및 단점을 살펴보세요.

시계열 데이터에서는 관측값 간에 종속성이 있으므로 서로 독립적이지 않습니다. 그러나 기존 신경망은 각 관측값을 독립적인 것으로 취급하므로 시계열 데이터를 모델링하는 모델의 기능이 제한됩니다. 이 문제를 해결하기 위해 네트워크의 데이터 포인트 간의 종속성을 설정하여 시계열 데이터의 동적 특성을 캡처하는 메모리 개념을 도입한 RNN(Recurrent Neural Network)이 도입되었습니다. RNN은 반복 연결을 통해 이전 정보를 현재 관찰에 전달하여 미래 값을 더 잘 예측할 수 있습니다. 이는 RNN을 시계열 데이터와 관련된 작업을 위한 강력한 도구로 만듭니다.

그런데 RNN은 어떻게 이런 종류의 메모리를 달성하나요?

RNN은 신경망의 피드백 루프를 통해 메모리를 구현하는데, 이는 RNN과 기존 신경망의 주요 차이점입니다. 피드백 루프를 사용하면 레이어 내에서 정보가 전달될 수 있는 반면, 피드포워드 신경망은 레이어 간에만 정보가 전달됩니다. 따라서 RNN에는 다양한 유형이 있습니다.

  • Recurrent Neural Network (RNN)
  • Long Short-Term Memory Network (LSTM)
  • Gated Recurrent Unit Network (GRU)

이 기사에서는 RNN을 소개합니다. , LSTM GRU와 GRU의 개념, 유사점 및 차이점과 장점 및 단점.

반복 신경망(RNN)

피드백 루프를 통해 RNN 장치의 출력은 동일한 장치의 입력으로도 사용됩니다. 따라서 모든 RNN에는 과거와 현재라는 두 가지 입력이 있습니다. 과거 정보를 사용하면 단기 기억이 생성됩니다.

더 나은 이해를 위해 RNN 장치의 피드백 루프를 확장할 수 있습니다. 확장된 셀의 길이는 입력 시퀀스의 시간 단계 수와 같습니다.

과거 관측값이 숨겨진 상태로 펼쳐진 네트워크를 통해 어떻게 전달되는지 확인할 수 있습니다. 각 셀에서는 현재 시간 단계의 입력, 이전 시간 단계의 은닉 상태, 바이어스를 결합한 후 활성화 함수를 통해 제한하여 현재 시간 단계의 은닉 상태를 결정합니다.

RNN은 일대일, 일대다, 다대일, 다대다 예측에 사용할 수 있습니다.

RNN의 장점

단기 기억 덕분에 RNN은 순차적 데이터를 처리하고 과거 데이터의 패턴을 식별할 수 있습니다. 또한 RNN은 다양한 길이의 입력을 처리할 수 있습니다.

RNN의 단점

RNN은 경사 하강이 사라지는 문제가 있습니다. 이 경우 역전파 중에 가중치를 업데이트하는 데 사용되는 기울기는 매우 작아집니다. 0에 가까운 기울기로 가중치를 곱하면 네트워크가 새로운 가중치를 학습하는 것을 방지할 수 있습니다. 학습을 중단하면 RNN이 더 긴 시퀀스에서 본 내용을 잊어버리게 됩니다. Vanishing Gradient Descent 문제는 ​​네트워크 계층의 수에 따라 증가합니다.

RNN은 최근 정보만 유지하므로 모델은 과거 관찰을 고려할 때 문제가 있습니다. 따라서 RNN에는 단기 기억만 있고 장기 기억은 없습니다.

또한 RNN은 역전파를 사용하여 시간에 맞춰 가중치를 업데이트하므로 네트워크도 그래디언트 폭발로 인해 어려움을 겪게 되며, ReLu 활성화 기능을 사용하면 죽은 ReLu 단위의 영향을 받게 됩니다. 전자는 융합 문제를 일으킬 수 있는 반면, 후자는 학습 중단을 유발할 수 있습니다.

장단기 기억(LSTM)

LSTM은 RNN의 경사 소멸 문제를 해결하는 특별한 유형의 RNN입니다.

LSTM의 핵심은 유닛의 입력에서 출력으로 전달되는 유닛 상태입니다. 셀 상태를 사용하면 세 개의 게이트를 통해 더 작은 선형 동작만으로 전체 체인을 따라 정보가 흐를 수 있습니다. 따라서 셀 상태는 LSTM의 장기 기억을 나타냅니다. 이 세 개의 게이트를 각각 망각 게이트, 입력 게이트, 출력 게이트라고 합니다. 이러한 게이트는 필터 역할을 하며 정보의 흐름을 제어하고 어떤 정보를 유지할지 또는 무시할지 결정합니다.

망각 관문은 장기 기억을 얼마나 유지해야 하는지를 결정합니다. 이를 위해 시그모이드 함수를 사용하여 세포 상태의 중요성을 설명합니다. 출력은 0과 1 사이에서 다양하며 0은 정보를 유지하지 않고 1은 셀 상태에 대한 모든 정보를 유지합니다.

입력 게이트는 어떤 정보가 셀 상태에 추가되어 장기 기억에 추가되는지 결정합니다.

출력 게이트는 셀 상태의 어느 부분이 출력을 생성하는지 결정합니다. 따라서 출력 게이트는 단기 기억을 담당합니다.

일반적으로 상태는 망각 게이트와 입력 게이트를 통해 업데이트됩니다.

LSTM의 장점

LSTM의 장점은 RNN과 유사하며, 가장 큰 장점은 시퀀스의 장기 및 단기 패턴을 모두 캡처할 수 있다는 것입니다. 따라서 가장 일반적으로 사용되는 RNN입니다.

LSTM의 단점

구조가 복잡하기 때문에 LSTM의 계산 비용이 더 높아서 훈련 시간이 길어집니다.

LSTM도 시간적 역전파 알고리즘을 사용하여 가중치를 업데이트하므로 LSTM은 데드 ReLu 단위, 경사 폭발 등의 역전파의 단점을 가지고 있습니다.

GRU(Gated Recurrent Unit)

LSTM과 유사하게 GRU는 간단한 RNN의 Vanishing Gradient 문제를 해결합니다. 그러나 LSTM과의 차이점은 GRU가 더 적은 수의 게이트를 사용하고 별도의 내부 메모리, 즉 셀 상태를 갖지 않는다는 점입니다. 따라서 GRU는 숨겨진 상태를 메모리로 전적으로 의존하므로 아키텍처가 더 단순해집니다.

리셋 게이트는 과거 정보가 얼마나 유지되고 무시되는지를 결정하므로 단기 기억을 담당합니다.

업데이트 게이트는 장기 기억을 담당하며 LSTM의 망각 게이트와 비슷합니다.

현재 시간 단계의 숨겨진 상태는 두 단계에 따라 결정됩니다.

먼저 후보 숨겨진 상태를 결정합니다. 후보 상태는 현재 입력과 이전 시간 단계의 은닉 상태 및 활성화 함수의 조합입니다. 후보 숨겨진 상태에 대한 이전 숨겨진 상태의 영향은 재설정 게이트에 의해 제어됩니다.

두 번째 단계는 후보 숨겨진 상태를 이전 시간 단계의 숨겨진 상태와 결합하여 현재 숨겨진 상태를 생성하는 것입니다. 이전 Hidden State와 후보 Hidden State가 어떻게 결합되는지는 업데이트 게이트에 의해 결정됩니다.

업데이트 게이트에서 제공하는 값이 0이면 이전 히든 상태는 완전히 무시되고 현재 히든 상태는 후보 히든 상태와 동일합니다. 업데이트 게이트가 1의 값을 제공하면 그 반대가 됩니다.

GRU의 장점

GRU는 LSTM에 비해 아키텍처가 단순하기 때문에 계산 효율성이 더 높고 훈련 속도가 빠르며 메모리가 덜 필요합니다.

또한 GRU는 소규모 시퀀스에 더 효율적인 것으로 입증되었습니다.

GRU의 단점

GRU에는 별도의 숨겨진 상태와 셀 상태가 없으므로 LSTM과 같은 과거 관찰을 고려하지 못할 수 있습니다.

RNN 및 LSTM과 유사하게 GRU는 시간에 맞춰 가중치를 업데이트하는 역전파의 단점, 즉 죽은 ReLu 단위 및 경사 폭발로 인해 어려움을 겪을 수도 있습니다.

위 내용은 RNN, LSTM 및 GRU의 개념, 차이점, 장점 및 단점을 살펴보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Jun 28, 2024 am 03:51 AM

이 사이트는 6월 27일에 Jianying이 ByteDance의 자회사인 FaceMeng Technology에서 개발한 비디오 편집 소프트웨어라고 보도했습니다. 이 소프트웨어는 Douyin 플랫폼을 기반으로 하며 기본적으로 플랫폼 사용자를 위한 짧은 비디오 콘텐츠를 제작합니다. Windows, MacOS 및 기타 운영 체제. Jianying은 멤버십 시스템 업그레이드를 공식 발표하고 지능형 번역, 지능형 하이라이트, 지능형 패키징, 디지털 인간 합성 등 다양한 AI 블랙 기술을 포함하는 새로운 SVIP를 출시했습니다. 가격면에서 SVIP 클리핑 월 요금은 79위안, 연간 요금은 599위안(본 사이트 참고: 월 49.9위안에 해당), 월간 연속 구독료는 월 59위안, 연간 연속 구독료는 59위안입니다. 연간 499위안(월 41.6위안)입니다. 또한, 컷 관계자는 "사용자 경험 향상을 위해 기존 VIP에 가입하신 분들도

Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Jun 10, 2024 am 11:08 AM

검색 강화 생성 및 의미론적 메모리를 AI 코딩 도우미에 통합하여 개발자 생산성, 효율성 및 정확성을 향상시킵니다. EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG에서 번역됨, 저자 JanakiramMSV. 기본 AI 프로그래밍 도우미는 자연스럽게 도움이 되지만, 소프트웨어 언어에 대한 일반적인 이해와 소프트웨어 작성의 가장 일반적인 패턴에 의존하기 때문에 가장 관련성이 높고 정확한 코드 제안을 제공하지 못하는 경우가 많습니다. 이러한 코딩 도우미가 생성한 코드는 자신이 해결해야 할 문제를 해결하는 데 적합하지만 개별 팀의 코딩 표준, 규칙 및 스타일을 따르지 않는 경우가 많습니다. 이로 인해 코드가 애플리케이션에 승인되기 위해 수정되거나 개선되어야 하는 제안이 나타나는 경우가 많습니다.

7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 Jun 07, 2024 am 10:06 AM

AIGC에 대해 자세히 알아보려면 다음을 방문하세요. 51CTOAI.x 커뮤니티 https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou는 인터넷 어디에서나 볼 수 있는 전통적인 문제 은행과 다릅니다. 고정관념에서 벗어나 생각해야 합니다. LLM(대형 언어 모델)은 데이터 과학, 생성 인공 지능(GenAI) 및 인공 지능 분야에서 점점 더 중요해지고 있습니다. 이러한 복잡한 알고리즘은 인간의 기술을 향상시키고 많은 산업 분야에서 효율성과 혁신을 촉진하여 기업이 경쟁력을 유지하는 데 핵심이 됩니다. LLM은 자연어 처리, 텍스트 생성, 음성 인식 및 추천 시스템과 같은 분야에서 광범위하게 사용될 수 있습니다. LLM은 대량의 데이터로부터 학습하여 텍스트를 생성할 수 있습니다.

미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. 미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. Jun 11, 2024 pm 03:57 PM

LLM(대형 언어 모델)은 대규모 텍스트 데이터베이스에서 훈련되어 대량의 실제 지식을 습득합니다. 이 지식은 매개변수에 내장되어 필요할 때 사용할 수 있습니다. 이러한 모델에 대한 지식은 훈련이 끝나면 "구체화"됩니다. 사전 훈련이 끝나면 모델은 실제로 학습을 중단합니다. 모델을 정렬하거나 미세 조정하여 이 지식을 활용하고 사용자 질문에 보다 자연스럽게 응답하는 방법을 알아보세요. 그러나 때로는 모델 지식만으로는 충분하지 않을 때도 있으며, 모델이 RAG를 통해 외부 콘텐츠에 접근할 수 있더라도 미세 조정을 통해 모델을 새로운 도메인에 적응시키는 것이 유익한 것으로 간주됩니다. 이러한 미세 조정은 인간 주석 작성자 또는 기타 LLM 생성자의 입력을 사용하여 수행됩니다. 여기서 모델은 추가적인 실제 지식을 접하고 이를 통합합니다.

대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. 대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. Jul 25, 2024 am 06:42 AM

편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는

SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 Jul 17, 2024 pm 06:37 PM

Editor | KX 약물 연구 및 개발 분야에서 단백질과 리간드의 결합 친화도를 정확하고 효과적으로 예측하는 것은 약물 스크리닝 및 최적화에 매우 중요합니다. 그러나 현재 연구에서는 단백질-리간드 상호작용에서 분자 표면 정보의 중요한 역할을 고려하지 않습니다. 이를 기반으로 Xiamen University의 연구자들은 처음으로 단백질 표면, 3D 구조 및 서열에 대한 정보를 결합하고 교차 주의 메커니즘을 사용하여 다양한 양식 특징을 비교하는 새로운 다중 모드 특징 추출(MFE) 프레임워크를 제안했습니다. 조정. 실험 결과는 이 방법이 단백질-리간드 결합 친화도를 예측하는 데 있어 최첨단 성능을 달성한다는 것을 보여줍니다. 또한 절제 연구는 이 프레임워크 내에서 단백질 표면 정보와 다중 모드 기능 정렬의 효율성과 필요성을 보여줍니다. 관련 연구는 "S"로 시작된다

당신이 모르는 머신러닝의 5가지 학교 당신이 모르는 머신러닝의 5가지 학교 Jun 05, 2024 pm 08:51 PM

머신 러닝은 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터로부터 학습하고 능력을 향상시킬 수 있는 능력을 제공하는 인공 지능의 중요한 분야입니다. 머신러닝은 이미지 인식, 자연어 처리, 추천 시스템, 사기 탐지 등 다양한 분야에서 폭넓게 활용되며 우리의 삶의 방식을 변화시키고 있습니다. 기계 학습 분야에는 다양한 방법과 이론이 있으며, 그 중 가장 영향력 있는 5가지 방법을 "기계 학습의 5개 학교"라고 합니다. 5개 주요 학파는 상징학파, 연결주의 학파, 진화학파, 베이지안 학파, 유추학파이다. 1. 상징주의라고도 알려진 상징주의는 논리적 추론과 지식 표현을 위해 상징을 사용하는 것을 강조합니다. 이 사고 학교는 학습이 기존을 통한 역연역 과정이라고 믿습니다.

SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. Aug 01, 2024 pm 09:40 PM

1일 본 사이트 소식에 따르면 SK하이닉스는 오늘(1일) 블로그 게시물을 통해 8월 6일부터 8일까지 미국 캘리포니아주 산타클라라에서 열리는 글로벌 반도체 메모리 서밋 FMS2024에 참가한다고 밝혔다. 많은 새로운 세대의 제품. 인공지능 기술에 대한 관심이 높아지고 있는 가운데, 이전에는 주로 NAND 공급업체를 대상으로 한 플래시 메모리 서밋(FlashMemorySummit)이었던 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage) 소개를 올해는 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage)으로 명칭을 변경했습니다. DRAM 및 스토리지 공급업체와 더 많은 플레이어를 초대하세요. SK하이닉스가 지난해 출시한 신제품

See all articles