12년 전 딥러닝을 시작한 Karpathy는 AlexNet 시대의 추억의 물결을 일으켰고 LeCun, Goodfellow 등은 모두 끝났습니다.

2012년 AlexNet이 시작한 딥러닝 혁명 이후 무려 12년이 흘렀습니다.

그리고 이제 우리도 대형모델 시대에 돌입했습니다.

최근 유명한 AI 연구 과학자 Andrej Karpathy의 게시물로 인해 딥 러닝 혁명의 물결에 참여한 많은 거물들이 추억에 빠지게 되었습니다. Turing Award 수상자 Yann LeCun부터 GAN의 아버지 Ian Goodfellow까지 그들은 모두 과거를 회상했습니다.

이 게시물은 지금까지 630,000회 이상의 조회수를 기록했습니다.

포스트에서 Karpathy는 다음과 같이 언급했습니다. 흥미로운 사실은 많은 사람들이 2012년 ImageNet/AlexNet의 순간과 그것이 시작된 딥 러닝 혁명에 대해 들어봤을 것이라는 점입니다. 그러나 이번 대회 우승작을 지원하는 코드가 Alex Krizhevsky가 처음부터 CUDA/C++로 직접 작성했다는 사실을 아는 사람은 거의 없습니다. 이 코드 저장소는 cuda-convnet이라고 불리며 당시 Google 코드에서 호스팅되었습니다.

https://code.google.com/archive/p/cuda-convnet/

Karpathy는 생각했습니다. Google 코드에 대해서는 폐쇄(?)했지만 GitHub에서 원본 코드를 기반으로 다른 개발자가 만든 다음과 같은 새 버전을 발견했습니다.

https://github.com/ulrichstern/cuda -convnet

"AlexNet은 딥 러닝에 CUDA를 사용하는 최초의 유명한 사례 중 하나입니다." Karpathy는 AlexNet이 이러한 대규모 데이터(ImageNet)를 처리할 수 있는 것은 바로 CUDA와 GPU를 사용했기 때문이라고 회상했습니다. 이미지 인식 작업에서 훌륭한 결과를 얻었습니다. 정말 훌륭한 성능을 발휘합니다. "AlexNet은 단순히 GPU를 사용할 뿐만 아니라 다중 GPU 시스템이기도 합니다. 예를 들어 AlexNet은 모델 병렬화라는 기술을 사용하여 컨볼루션 작업을 두 부분으로 나누어 각각 두 개의 GPU에서 실행합니다." 여러분은 지금이 2012년이라는 것을 알아야 합니다! "2012년(약 12년 전)에는 대부분의 딥 러닝 연구가 Matlab에서 수행되었으며, CPU에서 실행되고 장난감 수준의 데이터 세트에 대한 다양한 학습 알고리즘, 네트워크 아키텍처 및 최적화 아이디어를 지속적으로 반복했습니다." 그러나 AlexNet의 저자인 Alex, Ilya 및 Geoff는 당시 주류 연구 스타일과는 완전히 다른 일을 했습니다. "더 이상 알고리즘 세부 사항에 집착하지 않고 비교적 표준적인 컨볼루션 신경망(ConvNet)을 사용하여 매우 크게 만들어졌습니다. , 대규모 데이터 세트(ImageNet)에 대한 교육을 받은 다음 모든 것을 CUDA/C++로 구현했습니다.”

Alex Krizhevsky는 컨볼루션, 풀링 및 기타 기본 작업을 포함하여 모든 코드를 CUDA 및 C++로 직접 작성했습니다. 딥러닝. 이 접근 방식은 매우 혁신적이고 도전적이므로 프로그래머는 알고리즘, 하드웨어 아키텍처, 프로그래밍 언어 등에 대한 심층적인 이해가 필요합니다.

밑바닥부터의 프로그래밍 방법은 복잡하고 번거롭지만 성능을 최대한으로 최적화하고 하드웨어의 컴퓨팅 파워를 마음껏 발휘할 수 있는 것이 바로 이 기본으로의 복귀가 강력한 힘을 불어넣는 것입니다. 딥러닝을 구성하며 역사의 전환점에 대해 알아보세요.

흥미로운 점은 이 설명이 많은 사람들의 추억을 떠올리게 했고, 모두가 2012년 이전에 딥러닝 프로젝트를 구현하기 위해 어떤 도구를 사용했는지 검색하고 있었다는 것입니다. 뉴욕대학교 컴퓨터과학과 교수인 Alfredo Canziani는 당시 Torch를 사용하고 있었습니다. "Deep Learning 연구에 Matlab을 사용하는 사람은 들어본 적이 없습니다..."

Yann lecun도 동의합니다. 2012년에 중요한 딥 러닝의 대부분은 Torch와 Theano를 사용하여 수행되었습니다.

Karpathy는 대부분의 프로젝트가 Matlab을 사용하고 있으며 2013~2014년에는 Torch를 사용한 적이 없다고 덧붙였습니다.

일부 네티즌들은 Hinton도 Matlab을 사용한다고 밝혔습니다.

당시 Matlab을 사용하는 사람이 많지 않았던 것 같습니다.

GAN의 아버지로 유명한 Ian Goodfellow도 나타나서 당시 Yoshua의 연구실에서 Theano를 사용했다고 말했습니다. 또한 ImageNet이 출시되기 전에 Alex의 cuda-convnet용 Theano 번들을 작성했다고 말했습니다.

구글 딥마인드 디렉터 더글라스 에크가 나타나서 Matlab을 사용하지 않고 C++를 사용하다가 Python/Theano로 전환했다고 말했습니다.

뉴욕대학교 조경현 교수는 2010년 대서양 건너편에 있을 때 Hannes Schulz 등이 만든 CUV 라이브러리를 사용하고 있었는데, 이것이 Matlab에서 Python으로 전환하는 데 도움이 되었다고 말했습니다.

라미니 공동 창업자인 그레고리 디아모스(Gregory Diamos)는 자신을 설득한 논문이 Andrew Ng 등의 논문 "Deep learning with COTS HPC Systems"라고 말했습니다.

이 논문에서는 Frankenstein CUDA 클러스터가 10,000개의 CPU로 구성된 MapReduce 클러스터를 능가할 수 있음을 보여줍니다.

논문 링크: https://proceedings.mlr.press/v28/coates13.pdf

그러나 AlexNet의 큰 성공은 고립된 사건이 ​​아니라, 그 당시 전체 필드. 일부 연구자들은 딥러닝에는 더 큰 규모와 더 강력한 컴퓨팅 성능이 필요하며 GPU가 유망한 방향이라는 것을 깨달았습니다. Karpathy는 다음과 같이 썼습니다. "물론 AlexNet이 출현하기 전에 딥 러닝 분야는 이미 규모가 커지는 조짐을 보였습니다. 예를 들어 Matlab은 처음에 GPU를 지원하기 시작했습니다. Stanford University의 Andrew Ng 연구실에서 많은 작업이 이루어졌습니다. GPU를 사용하는 방향으로 나아가고 있습니다. 대규모 딥 러닝 방향으로 다른 병행 노력도 있습니다.” 고고학 마지막 부분에서 Karpathy는 감격에 찬 표정으로 말했습니다. “C/C++ 코드와 CUDA 커널을 작성할 때 흥미로운 점이 있습니다. AlexNet 시대, cuda-convnet 시대로 돌아간 것 같습니다. "

현재의 "back to the basic" 접근 방식은 당시 AlexNet의 접근 방식과 유사합니다. AlexNet은 더 높은 성능과 더 큰 규모를 추구하기 위해 Matlab에서 CUDA/C++로 전환했습니다. 이제 높은 수준의 프레임워크를 사용할 수 있지만 극단적인 성능을 쉽게 달성할 수 없는 경우에도 맨 아래로 돌아가서 CUDA/C++ 코드를 직접 작성해야 합니다.

그런데, 당시 국내 연구자들은 무엇을 사용하고 있었나요? 토론을 위해 메시지를 남겨주신 것을 환영합니다.

위 내용은 12년 전 딥러닝을 시작한 Karpathy는 AlexNet 시대의 추억의 물결을 일으켰고 LeCun, Goodfellow 등은 모두 끝났습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!