12 年前に深層学習を始めた Karpathy は、AlexNet 時代の思い出の波を引き起こし、LeCun や Goodfellow などはすべて終了しました。

予期せぬことに、2012 年に AlexNet によって始まったディープラーニング革命から 12 年が経過しました。

そして今、大型模型の時代も到来しました。

最近、有名なAI研究科学者アンドレイ・カルパシー氏の投稿により、このディープラーニング革命の波に関与した多くの偉人たちの記憶に残ることになりました。チューリング賞受賞者のヤン・ルカン氏からGANの父イアン・グッドフェロー氏まで、全員が過去を思い出した。

この投稿はこれまでに 630,000 回以上閲覧されています。

投稿の中で、Karpathy 氏は次のように述べています: 興味深い事実は、多くの人が 2012 年の ImageNet/AlexNet の瞬間と、それによって始まった深層学習革命について聞いたことがあるかもしれないということです。ただし、このコンテストの受賞作品をサポートするコードが、Alex Krizhevsky によって CUDA/C++ でゼロから手書きで作成されたことを知っている人はほとんどいないかもしれません。このコード リポジトリは cuda-convnet と呼ばれ、当時 Google Code でホストされていました:

https://code.google.com/archive/p/cuda-convnet/

Karpathy はこう考えていました。 Google Code については既に閉鎖 (?) されていますが、彼は GitHub で、元のコードに基づいて他の開発者によって作成されたいくつかの新しいバージョンを見つけました。 -convnet

「AlexNet は、深層学習に CUDA を使用した最も初期の有名な例の 1 つです。」 Karpathy 氏は、AlexNet がこのような大規模なデータを処理できるのはまさに CUDA と GPU のおかげであると思い出しました (ImageNet)画像認識タスクで素晴らしい結果を達成しました。 「AlexNet は単純に GPU を使用するだけでなく、マルチ GPU システムでもあります。たとえば、AlexNet はモデル並列処理と呼ばれるテクノロジーを使用して、畳み込み演算を 2 つの部分に分割し、それぞれ 2 つの GPU で実行します。」みなさん、今が 2012 年であることを知っておいてください。 「2012年（約12年前）、ほとんどのディープラーニング研究はMatlabで行われ、CPU上で実行され、おもちゃレベルのデータセットでさまざまな学習アルゴリズム、ネットワークアーキテクチャ、最適化のアイデアを継続的に反復していました。」と彼は書いています。しかし、AlexNet の作者である Alex、Ilya、Geoff は、当時の主流の研究スタイルとはまったく異なることを行いました。「もはやアルゴリズムの詳細にはこだわらず、比較的標準的な畳み込みニューラル ネットワーク (ConvNet) を採用し、それを非常に大規模に作成しました。」大規模なデータ セット (ImageNet) でトレーニングし、その後、すべてを CUDA/C++ で実装しました。」

Alex Krizhevsky は、畳み込み、プーリング、その他の基本的な操作を含め、すべてのコードを CUDA と C++ で直接書きました。深い学習。このアプローチは非常に革新的かつ挑戦的であり、プログラマーはアルゴリズム、ハードウェア アーキテクチャ、プログラミング言語などについての深い理解を必要とします。

根本からのプログラミング方法は複雑で面倒ですが、パフォーマンスを最大限に最適化し、ハードウェアの計算能力を最大限に発揮できるのは、この基本への回帰によって強力なパワーが注入されることです。ディープラーニングを構成し、歴史の転換点について学びます。

興味深いのは、この説明が多くの人々の記憶を呼び起こし、誰もが 2012 年以前に深層学習プロジェクトを実装するためにどのようなツールを使用したかを探していたということです。ニューヨーク大学のコンピューター サイエンス教授であるアルフレッド カンツィアーニ氏は、当時、Torch を使用していました。「深層学習の研究に Matlab を使用している人は聞いたことがありません...」。

Yann lecun 氏も同意します。2012 年の重要な深層学習のほとんどは、Torch と Theano を使用して行われました。

Karpathy 氏は、ほとんどのプロジェクトが Matlab を使用しており、2013 年から 2014 年にかけて Theano を使用したことはないと付け加えました。

일부 네티즌들은 Hinton도 Matlab을 사용한다고 밝혔습니다.

당시 Matlab을 사용하는 사람이 많지 않았던 것 같습니다.

GAN의 아버지로 유명한 Ian Goodfellow도 나타나서 당시 Yoshua의 연구실에서 Theano를 사용했다고 말했습니다. 또한 ImageNet이 출시되기 전에 Alex의 cuda-convnet용 Theano 번들을 작성했다고 말했습니다.

구글 딥마인드 디렉터 더글라스 에크가 나타나서 Matlab을 사용하지 않고 C++를 사용하다가 Python/Theano로 전환했다고 말했습니다.

뉴욕대학교 조경현 교수는 2010년 대서양 건너편에 있을 때 Hannes Schulz 등이 만든 CUV 라이브러리를 사용하고 있었는데, 이것이 Matlab에서 Python으로 전환하는 데 도움이 되었다고 말했습니다.

라미니 공동 창업자인 그레고리 디아모스(Gregory Diamos)는 자신을 설득한 논문이 Andrew Ng 등의 논문 "Deep learning with COTS HPC Systems"라고 말했습니다.

이 논문에서는 Frankenstein CUDA 클러스터가 10,000개의 CPU로 구성된 MapReduce 클러스터를 능가할 수 있음을 보여줍니다.

논문 링크: https://proceedings.mlr.press/v28/coates13.pdf

그러나 AlexNet의 큰 성공은 고립된 사건이 ​​아니라, 그 당시 전체 필드. 일부 연구자들은 딥러닝에는 더 큰 규모와 더 강력한 컴퓨팅 성능이 필요하며 GPU가 유망한 방향이라는 것을 깨달았습니다. Karpathy는 다음과 같이 썼습니다. “물론 AlexNet이 등장하기 전에 딥 러닝 분야는 이미 규모가 커지는 조짐을 보였습니다. 예를 들어 Matlab은 처음에 스탠포드 대학의 Andrew Ng 연구실에서 많은 작업을 지원하기 시작했습니다. GPU를 사용하는 방향으로 나아가고 있습니다. 또한 대규모 딥 러닝 방향으로 다른 노력도 병행하고 있습니다." 고고학 마지막 부분에서 Karpathy는 감동적으로 말했습니다. "C/C++ 코드와 CUDA 커널을 작성할 때 AlexNet의 시대, cuda-convnet의 시대로 돌아간 것 같습니다. "

현재의 "기본으로 돌아가기"라는 접근 방식은 저자의 당시 AlexNet의 접근 방식과 유사합니다. AlexNet은 더 높은 성능과 더 큰 규모를 추구하기 위해 Matlab에서 CUDA/C++로 전환했습니다. 이제 높은 수준의 프레임워크를 사용할 수 있지만 극단적인 성능을 쉽게 달성할 수 없는 경우에도 맨 아래로 돌아가서 CUDA/C++ 코드를 직접 작성해야 합니다.

그런데, 당시 국내 연구자들은 무엇을 사용하고 있었나요? 토론을 위해 메시지를 남겨주신 것을 환영합니다.

以上が12 年前に深層学習を始めた Karpathy は、AlexNet 時代の思い出の波を引き起こし、LeCun や Goodfellow などはすべて終了しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。