신경망 알고리즘 소개

신경망은 중요한 기계 학습 기술입니다. 이는 현재 가장 인기 있는 연구 방향인 딥러닝의 기초입니다. 신경망을 학습하면 강력한 머신러닝 방법을 익힐 수 있을 뿐만 아니라 딥러닝 기술을 더 잘 이해하는 데도 도움이 됩니다.

신경망의 개발 과정을 살펴보겠습니다. 신경망 발전의 역사는 우여곡절로 가득 차 있습니다. 하늘에 칭송받는 순간도 있고, 거리에 떨어져도 아무도 관심을 두지 않는 때도 있습니다. 중간에 다운됨.

단층 신경망(퍼셉트론)부터 시작하여 은닉층을 포함하는 2층 신경망, 다층 심층 신경망까지 세 가지 상승이 있습니다.

위 그림의 봉우리와 계곡은 신경망 발달의 봉우리와 계곡으로 볼 수 있습니다. 그래프의 가로축은 시간으로, 연도 단위로 측정됩니다. 세로축은 신경망의 영향을 개략적으로 표현한 것입니다. 1949년 Hebb 모델 제안부터 1958년 퍼셉트론 탄생까지의 10년을 하락(상승 아님)으로 간주한다면 신경망은 동지와 유사하게 "3 상승 3 하락"의 과정을 경험한 것입니다. "샤오핑". 하늘이 사람에게 큰 책임을 맡길 때에는 먼저 몸과 마음을 열심히 해야 한다는 말이 있습니다. 이 단계에서 수많은 우여곡절을 겪은 신경망의 성공은 노력의 축적이라고 볼 수 있다.

역사의 가장 큰 장점은 현재에 대한 참고자료가 될 수 있다는 점입니다. 과학 연구는 상승 나선형 과정을 나타내며 순조롭게 항해할 수 없습니다. 동시에 이는 현재 딥러닝과 인공지능에 지나치게 열광하는 사람들에게 경고로 들립니다. 왜냐하면 신경망 때문에 사람들이 미쳐가는 것은 이번이 처음이 아니기 때문입니다. 1958년부터 1969년까지, 그리고 1985년부터 1995년까지 신경망과 인공지능에 대한 사람들의 기대는 지금만큼 낮지는 않았지만, 그 결과가 어떻게 될지는 누구나 분명히 알 수 있습니다.

따라서 현재의 딥러닝 열풍에 대처하는 가장 좋은 방법은 평온함입니다. 딥러닝이 뜨거워서, 돈을 벌 수 있다는 이유로 사람들이 뛰어든다면, 최종 피해자는 바로 본인들일 것입니다. 신경망 커뮤니티는 사람들로부터 두 번이나 칭찬을 받았습니다. 칭찬이 높을수록 하락세는 더 심해진다고 생각합니다. 그러므로 신경망 분야의 학자들도 이 열풍에 물을 부어 언론과 투자자들이 이 기술을 과대평가하지 않도록 해야 한다. 허둥에서 30년, 허시에서 30년이 지나면 신경망은 몇 년 안에 다시 바닥을 칠 가능성이 매우 높다. 위의 과거 그래프를 보면 이는 매우 가능합니다.

신경망이 왜 그렇게 인기가 있는지 이야기해 볼까요? 한마디로 강력한 학습효과다. 신경망의 발전으로 인해 표현 성능이 점점 더 강력해지고 있습니다.

단일 계층 신경망에서 2계층 신경망, 그리고 다층 신경망까지, 아래 그림은 네트워크 계층 수의 증가와 활성화 함수의 조정에 따라, 신경망이 능력을 맞출 수 있는 의사결정 경계면.

레이어 수가 증가할수록 비선형 경계 피팅 능력이 계속 증가하는 것을 볼 수 있습니다. 그림의 구분선은 실제 훈련 효과를 나타내지 않으며 도식적인 효과에 가깝습니다.

신경망에 대한 연구와 응용이 계속해서 활발하게 발전할 수 있는 이유는 강력한 기능 피팅 능력과 불가분의 관계에 있습니다.

물론, 내면의 능력이 강하다고 해서 반드시 성공하는 것은 아닙니다. 성공적인 기술과 방법은 내부요인의 역할뿐만 아니라 현재 상황과 환경의 협력도 필요합니다. 신경망 개발의 외부적 이유는 더 강력한 컴퓨팅 성능, 더 많은 데이터, 더 나은 훈련 방법으로 요약될 수 있습니다. 이러한 조건이 충족되어야만 아래 그림과 같이 신경망의 기능 피팅 능력이 완전히 반영될 수 있습니다.

단층 신경망 시대에 Rosenblat이 2층 분류기를 만들 수 없었던 이유는 당시의 컴퓨팅 성능이 부족했기 때문인데, 민스키도 이를 이용해 신경망을 억제했습니다. 하지만 민스키는 불과 10년 후 컴퓨터 CPU의 급속한 발전으로 2계층 신경망을 훈련할 수 있게 되고, 빠른 학습 알고리즘인 BP도 나올 것이라고는 예상하지 못했습니다.

하지만 2계층 신경망이 급속히 대중화되는 시대. 계산 성능 문제와 일부 계산 방법 문제로 인해 상위 신경망의 장점을 반영할 수 없습니다. 2012년까지 연구원들은 고성능 컴퓨팅을 위한 그래픽 가속기 카드(GPU)가 신경망 훈련에 필요한 요구 사항, 즉 높은 병렬성, 높은 저장 공간, 그리 많지 않은 제어 요구 사항 및 사전 훈련 알고리즘을 기다리는 동안 신경망 훈련에 필요한 요구 사항을 완벽하게 충족할 수 있음을 발견했습니다. 빛나는.

인터넷 시대에는 많은 양의 데이터가 수집되고 정리되며 더 나은 훈련 방법이 끊임없이 발견됩니다. 이 모든 것은 다층 신경망이 그 능력을 발휘할 수 있는 조건을 충족합니다.

힌튼이 2006년 논문에서 말했듯이 "상황이 영웅을 만든다"

"... 컴퓨터가 충분히 빠르고, 데이터 세트가 충분히 크고, 초기 가중치가 좋은 솔루션에 충분히 가까웠다면 이제 세 가지 조건이 모두 충족되었습니다.",

외부 조건의 만족도 기본입니다. 신경망의 경우 뉴런은 현재 심층 신경망의 발전에 중요한 요소입니다.

또한 "볼레" 없이는 기술 개발이 불가능합니다. 신경망의 오랜 역사 속에서 지금의 성과는 바로 많은 연구자들의 인내와 지속적인 연구 덕분입니다. Rosenblat 초기에 Rumelhart는 신경망의 현재 인기와 상태를 목격하지 못했습니다. 하지만 그때가 되면 그들이 신경망 개발을 위해 마련한 기반은 영원히 계승될 것이며 퇴색되지 않을 것입니다.

위 내용은 신경망 알고리즘 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!