Compression ultime 70 fois supérieure ! Peu importe le nombre de points de contrôle que vous disposez sur un grand modèle, vous n'aurez pas peur.

La rubrique AIxiv est une rubrique où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Les auteurs de cet article sont tous du laboratoire Huawei Noah. Le premier auteur est Li Wenshuo et les auteurs correspondants sont Wang Yunhe et Chen. Xinghao. Ces dernières années, les équipes concernées ont publié un certain nombre d'ouvrages représentatifs lors de conférences de premier plan telles que ICML, CVPR, NeurIPS, ICCV et ECCV. Elles ont produit de riches résultats dans des domaines tels que les grands modèles de langage efficaces et les modèles visuels, et ont coopéré avec. des universités et des instituts de recherche scientifique de renom sont étendus.

En tant que « roi du trafic » bien mérité dans l'industrie et le monde universitaire actuels de l'IA, les grands modèles ont attiré un grand nombre d'universitaires et d'entreprises à investir des ressources dans la recherche et la formation. À mesure que l’échelle augmente, les problèmes de système et d’ingénierie sont devenus des problèmes inévitables dans la formation de grands modèles. Par exemple, au cours de la formation de 54 jours de Llama3.1, le système s'est écrasé 466 fois, en moyenne une fois toutes les 2,78 heures !

Ensuite, des contrôles de stockage fréquents sont très nécessaires. Mais le stockage des points de contrôle est aussi un grand projet en soi.

Meta a déployé de nombreux efforts pour accélérer le temps de point de contrôle du stockage et augmenter la fréquence de stockage afin de lutter contre les pannes fréquentes du système. Mais un stockage fréquent signifie également une surcharge importante en ressources de stockage. Son cluster de formation est équipé d'un SSD de 240 Po pour relever ce défi. Le coût du stockage à lui seul est de 100 millions de yuans !

La méthode ExCP de Huawei Noah a vu le jour. Afin de faire face à l'énorme surcharge causée par le stockage, ils ont proposé une technologie de point de contrôle de compression extrême, qui peut compresser le modèle 70 fois sans perte, réduisant considérablement la surcharge de stockage pendant la formation.

Le code est actuellement open source et publié sous le framework Apache 2.0. Certains partenaires du problème ont reproduit avec succès les résultats.

• Adresse de l'article : https://arxiv.org/abs/2406.11257
• Adresse de l'entrepôt : https://github.com/Gaffey/ExCP

La méthode est également très bonne innovation, l'article mentionne deux concepts importants. L'un consiste à utiliser les informations résiduelles des points de contrôle dans la formation pour obtenir un taux d'élagage plus élevé grâce à la rareté des informations sur les séries chronologiques. L'autre consiste à combiner l'optimiseur et les poids pour la compression ; pour obtenir un taux de compression global élevé.

Méthode spécifique

1. Point de contrôle résiduel

Pendant le processus d'entraînement, les paramètres actuels peuvent être considérés comme les poids stockés dans le point de contrôle précédent plus les successifs. La somme des mises à jour du gradient au cours des itérations est relativement rare et contient moins d'informations. Par conséquent, la compression de ce résidu peut obtenir un meilleur taux de compression. Au contraire, l'élan stocké dans l'optimiseur est la moyenne glissante des premier et deuxième instants du gradient. Pour le premier instant, le paramètre par défaut de la moyenne glissante est de 0,9, qui varie de centaines à milliers. il n'y a pas beaucoup de corrélation avec le contenu stocké dans le dernier point de contrôle, donc l'optimiseur compresse directement sa propre valeur plutôt que le résidu. Le point de contrôle final à compresser est exprimé par

2. Compression conjointe de l'élan avec optimiseur de poids

Les travaux existants liés à la compression du modèle se concentrent généralement uniquement sur les performances d'inférence du modèle, ou sur la taille du point de contrôle de stockage final du modèle, mais ne paient pas. attention à l'espace de stockage du modèle pendant tout le processus de formation. Par conséquent, les travaux existants ne font que compresser les poids, ignorant le fait que les optimiseurs courants tels qu'Adam stockent en réalité une quantité de mouvement deux fois supérieure au nombre de poids. D'une part, ce travail compresse les deux ensemble, améliorant considérablement le taux de compression global ; d'autre part, il utilise également la corrélation entre les poids et l'élan de l'optimiseur pour améliorer davantage le taux de compression de chacun.

Élagage du poids : Puisque le poids de l'élagage est la valeur résiduelle, le deuxième moment de l'optimiseur peut représenter approximativement l'amplitude du changement de la valeur résiduelle du poids au cours de la période de temps écoulée, donc le deuxième moment de l'optimiseur l'élan peut être utilisé. Le moment d'ordre est utilisé comme indicateur pour déterminer le rapport d'élagage des différentes couches. La stratégie d'élagage est présentée dans la formule suivante

où W et représentent respectivement le poids et le moment de second ordre.

Élagage dynamique de l'optimiseur : Pour l'élagage dynamique, vous pouvez utiliser le moment de premier ordre comme indicateur pour effectuer l'élagage. Il y a une brève preuve de convergence dans le document. Dans le même temps, si le poids d'une position a été élagué, l'élan de l'optimiseur de la position correspondante doit également être traité simultanément, donc la stratégie d'élagage est celle indiquée dans la formule suivante

où représente le premier- moment de la commande.

3. Processus de compression global

Le processus de compression global est tel que montré dans l'algorithme 1, et les étapes de calcul du poids résiduel/compression conjointe/quantification non uniforme/compression de codage sont séquentielles. effectuée pour obtenir le résultat final. Compresser les résultats.

Le processus de récupération du fichier de point de contrôle complet est comme indiqué dans l'algorithme 2. Après décompression, le résultat en virgule flottante est d'abord récupéré à partir du livre de codes et de l'indice stocké après une quantification non uniforme, puis comparé au benchmark. Les poids (le poids original du point de contrôle précédent ou le poids reconstitué récupéré) sont ajoutés pour obtenir le dossier complet du point de contrôle. Le processus de restauration des fichiers de points de contrôle dans l'ensemble du processus de formation est tel qu'illustré dans l'algorithme 3. Une fois la formation terminée, seules les graines aléatoires des poids d'initialisation et les résultats de compression stockés à chaque point de contrôle sont enregistrés, puis les points de contrôle sont restaurés dans séquence pour obtenir l'intégralité Une séquence de points de contrôle à partir de laquelle un ou plusieurs points de contrôle peuvent être sélectionnés pour reprendre l'entraînement/les tests, etc.

Résultats expérimentaux

L'article évalue non seulement de grands modèles de langage, cette méthode peut également obtenir de bons résultats sur des modèles visuels plus grands tels que ViT-L32.

L'expérience d'ablation montre également que l'utilisation de la taille résiduelle réduit considérablement les pertes causées par la taille.

L'article fournit également des exemples de questions et réponses pour les grands modèles de langage avant et après la compression. On peut voir que la compression elle-même n'endommage pas la capacité de questions et réponses du modèle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!