NUS et Byte ont collaboré de manière intersectorielle pour obtenir une formation 72 fois plus rapide grâce à l'optimisation des modèles, et ont remporté le prix AAAI2023 Outstanding Paper.

Récemment, la plus grande conférence internationale sur l'intelligence artificielle AAAI 2023 a annoncé les résultats de la sélection. Le document technique CowClip rédigé en collaboration par l'Université nationale de Singapour (NUS) et l'équipe Bytedance Machine Learning (AML) a été sélectionné pour les articles distingués. CowClip est une stratégie d'optimisation de la formation des modèles qui peut augmenter la vitesse de formation des modèles de 72 fois sur un seul GPU tout en garantissant la précision du modèle. Le code correspondant est désormais open source. ​

Adresse papier : https://arxiv.org/abs/2204.06240​

Adresse open source : https://github.com/bytedance/LargeBatchCTR

AAAI est une conférence annuelle organisée par l'Association internationale pour l'avancement de l'intelligence artificielle. Il s'agit de l'une des plus anciennes conférences universitaires de haut niveau dans le domaine de l'intelligence artificielle. L'AAAI 2023 a reçu un total de 8 777 soumissions d'articles, dont 1 721 articles ont été acceptés, avec un taux d'acceptation de 19,6 %. Le Département d'informatique de l'Université d'Oxford a remporté la plus haute récompense de la conférence (Outstanding Paper Award), et l'article collaboratif de l'Université de Pékin et d'autres institutions a remporté le Outstanding Student Paper Award. En outre, la conférence a également sélectionné 12 articles distingués, couvrant de nombreux domaines tels que l'optimisation de la stratégie de formation des modèles, l'optimisation des réseaux neuronaux graphiques et la recherche d'architecture neuronale. ​

Comment améliorer la vitesse de formation des modèles est un sujet éternel dans le domaine de l'apprentissage automatique. Depuis que Google a proposé le premier BERT de grands modèles pré-entraînés en 2018, la formation de grands modèles est progressivement devenue une tendance et une tendance dans le domaine de l'apprentissage profond. Cependant, la taille croissante du modèle signifie également qu’une formation complète prendra beaucoup de temps et nécessitera beaucoup de calculs. Selon des informations précédemment publiées par Google, lors de la formation de la variante T5 à 11 milliards de paramètres (le modèle pré-entraîné lancé par Google en 2019), le coût de fonctionnement unique dépasse 1,3 million de dollars. ​

La stratégie d'optimisation de la formation du modèle CowClip sélectionnée comme article exceptionnel peut réaliser une extraction de performances GPU plus suffisante et améliorer la vitesse de formation en garantissant la précision du modèle d'une taille de lot plus grande. Les expériences montrent que le modèle entraîné à l'aide de CowClip a non seulement une plus grande précision que les autres méthodes, mais améliore également considérablement la vitesse d'entraînement. L'entraînement du modèle Deep FM sur un seul GPU peut réduire le temps d'entraînement de 12 heures à 10 minutes sur la base des données de. l'ensemble de données publiques. La vitesse de formation du modèle est augmentée de 72 fois à la fois. ​

Avec une informatique efficace et des capacités d'analyse et de prise de décision plus précises, la technologie de l'intelligence artificielle est de plus en plus utilisée dans des domaines tels que les soins médicaux, la finance, la fabrication, l'éducation et le commerce électronique, ainsi que la précision des modèles. la formation et l'efficacité continueront d'être un facteur clé affectant le développement de l'industrie de l'intelligence artificielle. ​

Selon les rapports, l'équipe Bytedance Machine Learning (AML) a mis en œuvre la technologie de base de CowClip dans certaines des activités de l'entreprise. L'équipe fournit des services d'apprentissage automatique de niveau intermédiaire à l'entreprise, notamment en fournissant des systèmes de formation et des systèmes d'inférence à grande échelle pour des scénarios commerciaux tels que la recommandation de produits, la publicité et la recherche sur Toutiao, Douyin, Xigua Video, etc., et en fournissant des services simples et des services simples aux entreprises clientes via la plate-forme d'apprentissage automatique facile à utiliser, stable et fiable. ​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!