En commençant par l'apprentissage profond il y a 12 ans, Karpathy a déclenché une vague de souvenirs de l'ère AlexNet, et LeCun, Goodfellow, etc.

De manière inattendue, 12 ans se sont écoulés depuis la révolution du deep learning lancée par AlexNet en 2012.

Et maintenant, nous sommes également entrés dans l'ère des grands modèles.

Récemment, un article du célèbre chercheur en IA Andrej Karpathy a fait tomber dans les mémoires de nombreux grands acteurs impliqués dans cette vague de révolution de l'apprentissage profond. Du lauréat du prix Turing Yann LeCun à Ian Goodfellow, le père du GAN, ils ont tous rappelé le passé.

Cette publication compte plus de 630 000 vues jusqu'à présent.

Dans l'article, Karpathy a mentionné : Un fait intéressant est que de nombreuses personnes ont peut-être entendu parler du moment ImageNet/AlexNet en 2012 et de la révolution de l'apprentissage profond qu'il a déclenchée. Cependant, peu de gens savent peut-être que le code soutenant la candidature gagnante de ce concours a été entièrement écrit à la main en CUDA/C++ par Alex Krizhevsky. Ce référentiel de code s'appelait cuda-convnet, qui était hébergé sur Google Code à l'époque :

https://code.google.com/archive/p/cuda-convnet/

Karpathy pensait à propos de Google Code, n'est-ce pas ? a été fermé (?), mais il a trouvé de nouvelles versions sur GitHub créées par d'autres développeurs basées sur le code original, telles que :

https://github.com/ulrichstern/cuda -convnet

"AlexNet est l'un des premiers exemples célèbres d'utilisation de CUDA pour l'apprentissage en profondeur." Karpathy a rappelé que c'est précisément grâce à l'utilisation de CUDA et de GPU qu'AlexNet peut traiter des données à si grande échelle (ImageNet) et obtenez d'excellents résultats sur les tâches de reconnaissance d'images. Une si grande performance. "AlexNet utilise non seulement des GPU, mais est également un système multi-GPU. Par exemple, AlexNet utilise une technologie appelée parallélisme de modèle pour diviser l'opération de convolution en deux parties et les exécuter respectivement sur deux GPU." rappelle à tout le monde, il faut savoir que nous sommes en 2012 ! "En 2012 (il y a environ 12 ans), la plupart des recherches sur l'apprentissage profond ont été menées dans Matlab, exécutées sur le processeur et itérant en permanence divers algorithmes d'apprentissage, architectures de réseau et idées d'optimisation sur des ensembles de données au niveau des jouets", a-t-il écrit. Mais Alex, Ilya et Geoff, les auteurs d'AlexNet, ont fait quelque chose de complètement différent du style de recherche dominant de l'époque : « Ne soyez plus obsédés par les détails des algorithmes, prenez simplement un réseau neuronal convolutif relativement standard (ConvNet) et il a été rendu très grand. , formé sur un ensemble de données à grande échelle (ImageNet), puis implémenté le tout en CUDA/C++ »

Alex Krizhevsky a écrit tout le code directement en CUDA et C++, y compris la convolution, le pooling et d'autres opérations de base dans. l'apprentissage en profondeur. Cette approche est très innovante et stimulante, exigeant que les programmeurs aient une compréhension approfondie des algorithmes, de l'architecture matérielle, des langages de programmation, etc.

La méthode de programmation par le bas est compliquée et lourde, mais elle permet d'optimiser les performances au maximum et de faire jouer pleinement la puissance de calcul du matériel. C'est ce retour aux sources qui injecte une puissance puissante. l'apprentissage profond et constitue l'apprentissage profond. Découvrez les tournants de l'histoire.

Ce qui est intéressant, c'est que cette description a rappelé la mémoire de nombreuses personnes, et tout le monde cherchait quels outils ils utilisaient pour mettre en œuvre des projets de deep learning avant 2012. Alfredo Canziani, professeur d'informatique à l'Université de New York, utilisait Torch à l'époque : "Je n'ai jamais entendu parler de quelqu'un utilisant Matlab pour la recherche en apprentissage profond...".

Yann Lecun est d'accord, la plupart des apprentissages profonds importants en 2012 ont été réalisés avec Torch et Theano.

Karpathy avait un point de vue différent. Il a ajouté que la plupart des projets utilisent Matlab et qu'il n'a jamais utilisé Theano. Il a utilisé Torch en 2013-2014.

Certains internautes ont également révélé que Hinton utilise également Matlab.

Il semble que peu de gens utilisaient Matlab à cette époque :

Le père bien connu du GAN, Ian Goodfellow, s'est également présenté et a déclaré que le laboratoire de Yoshua utilisait Theano He. a également déclaré qu'avant la sortie d'ImageNet, il avait écrit le bundle Theano pour le cuda-convnet d'Alex.

Douglas Eck, directeur de Google DeepMind, est apparu et a déclaré qu'il n'avait pas utilisé Matlab, mais C++, puis était passé à Python/Theano.

Kyunghyun Cho, professeur à l'Université de New York, a déclaré qu'en 2010, alors qu'il était encore de l'autre côté de l'Atlantique, il utilisait la bibliothèque CUV créée par Hannes SChulz et d'autres, ce qui l'avait aidé à passer de Matlab à Python.

Le co-fondateur de Lamini, Gregory Diamos, a déclaré que l'article qui l'a convaincu était l'article "Deep learning with COTS HPC Systems" d'Andrew Ng et al.

L'article montre qu'un cluster Frankenstein CUDA peut battre un cluster MapReduce de 10 000 processeurs.

Lien papier : https://proceedings.mlr.press/v28/coates13.pdf

Cependant, le grand succès d'AlexNet n'était pas un événement isolé, mais un microcosme de la tendance de développement du tout le champ à ce moment-là. Certains chercheurs ont réalisé que l’apprentissage profond nécessite une puissance de calcul à plus grande échelle et plus forte, et que le GPU est une direction prometteuse. Karpathy a écrit : « Bien sûr, avant l'émergence d'AlexNet, le domaine de l'apprentissage profond avait déjà montré des signes de transition vers une échelle plus grande. Par exemple, Matlab a commencé à prendre en charge les GPU dans un premier temps. De nombreux travaux ont été menés dans le laboratoire d'Andrew Ng à l'Université de Stanford. s'oriente vers l'utilisation des GPU. Il existe également d'autres efforts parallèles en direction d'un apprentissage profond à grande échelle. " À la fin de l'archéologie, Karpathy a déclaré avec émotion : " Lors de l'écriture du code C/C++ et du noyau CUDA, j'ai un élément intéressant. sentiment. Il semble que je sois revenu à l'ère d'AlexNet et à l'ère de cuda-convnet "

L'approche actuelle du "retour aux sources" est similaire à l'approche d'AlexNet à l'époque - l'auteur de AlexNet est passé de Matlab à CUDA/C++, afin d'atteindre des performances plus élevées et une plus grande échelle. Bien que des frameworks de haut niveau soient désormais disponibles, lorsqu'ils ne peuvent pas facilement atteindre des performances extrêmes, vous devez toujours revenir au bas et écrire vous-même du code CUDA/C++.

Au fait, qu'utilisaient les chercheurs nationaux à cette époque ? Bienvenue à laisser un message pour discussion.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!