Présentation de l'article：Cet article présente principalement en détail les informations pertinentes sur l'utilisation par Python des fonctions d'ordre élevé pour implémenter les fonctions d'élagage. Les amis intéressés peuvent s'y référer. J'espère qu'il pourra aider tout le monde.

2018-03-29 commentaire 0  2160

Présentation de l'article：La distillation et l'élagage de modèles sont des technologies de compression de modèles de réseaux neuronaux qui réduisent efficacement les paramètres et la complexité de calcul, et améliorent l'efficacité et les performances opérationnelles. La distillation du modèle améliore les performances en entraînant un modèle plus petit sur un modèle plus grand, transférant ainsi les connaissances. L'élagage réduit la taille du modèle en supprimant les connexions et les paramètres redondants. Ces deux techniques sont très utiles pour la compression et l'optimisation des modèles. Distillation de modèle La distillation de modèle est une technique qui reproduit le pouvoir prédictif d'un grand modèle en entraînant un modèle plus petit. Le grand modèle est appelé « modèle enseignant » et le petit modèle est appelé « modèle étudiant ». Les modèles d'enseignant ont généralement plus de paramètres et de complexité et s'adaptent donc mieux aux données de formation et de test. Dans la distillation du modèle, le modèle étudiant est entraîné à imiter le comportement prédit du modèle enseignant afin d'obtenir de meilleures performances sur un modèle plus petit.

2024-01-23 commentaire 0  777

Présentation de l'article：Quel sera l'effet de couper les poils du Llama2 (alpaga) grand modèle ? Aujourd'hui, l'équipe Chen Danqi de l'Université de Princeton a proposé une méthode d'élagage de grands modèles appelée LLM-Shearing, qui permet d'obtenir de meilleures performances que les modèles de même taille avec une petite quantité de calcul et de coût. Depuis l’émergence des grands modèles de langage (LLM), ils ont obtenu des résultats remarquables sur diverses tâches en langage naturel. Cependant, la formation des grands modèles de langage nécessite des ressources informatiques massives. Par conséquent, l’industrie s’intéresse de plus en plus à la création de modèles de taille moyenne tout aussi puissants, avec l’émergence de LLaMA, MPT et Falcon, permettant une inférence et un réglage précis. Ces LLM de différentes tailles conviennent à différents cas d'utilisation, mais chaque modèle individuel est formé à partir de zéro (même

2023-10-12 commentaire 0  1352

Présentation de l'article：Quantification, élagage, distillation, si vous faites souvent attention aux grands modèles de langage, vous verrez certainement ces mots. Il suffit de regarder ces mots, il nous est difficile de comprendre ce qu'ils font, mais cela Plusieurs mots sont particulièrement importants pour le développement. de grands modèles de langage à ce stade. Cet article vous aidera à les connaître et à comprendre leurs principes. La quantification, l'élagage et la distillation de la compression de modèles sont en fait des technologies générales de compression de modèles de réseaux neuronaux et ne sont pas exclusives aux grands modèles de langage. L'importance de la compression du modèle : après la compression, le fichier modèle deviendra plus petit, l'espace disque utilisé deviendra également plus petit, l'espace cache utilisé lors du chargement en mémoire ou affiché deviendra également plus petit, et la vitesse d'exécution du modèle peut également Soyez améliorés. Grâce à la compression, l'utilisation du modèle consommera moins de ressources informatiques, ce qui peut considérablement évoluer

2024-04-26 commentaire 0  804

Présentation de l'article：OTO est le premier cadre de formation et de compression de structure de réseau neuronal automatisé, unique, convivial et polyvalent du secteur. À l'ère de l'intelligence artificielle, la manière de déployer et de maintenir les réseaux de neurones est une question clé pour la production. Compte tenu de la réduction des coûts de calcul tout en minimisant autant que possible la perte de performances du modèle, la compression des réseaux de neurones est devenue l'une des clés de la production. DNN. De manière générale, il existe trois méthodes de compression DNN, d'élagage, de distillation des connaissances et de quantification. L'élagage vise à identifier et supprimer les structures redondantes, à affiner le DNN tout en conservant autant que possible les performances du modèle. Il s'agit de la méthode de compression la plus polyvalente et la plus efficace. De manière générale, les trois méthodes peuvent se compléter et fonctionner ensemble pour obtenir le meilleur effet de compression. Cependant, la plupart des méthodes d’élagage existantes ne ciblent que des modèles et des tâches spécifiques et nécessitent beaucoup d’efforts.

2023-04-04 commentaire 0  1027

Présentation de l'article：Il n'utilise que 3 % du montant du calcul et 5 % du coût pour obtenir SOTA, qui domine l'échelle 1B-3B des grands modèles open source. Ce résultat provient de l’équipe Chen Danqi de Princeton et est appelé méthode d’élagage sur grand modèle LLM-Shearing. Basés sur l'alpaga LLaMA27B, les modèles Sheared-LLama élagués 1,3B et 3B ont été obtenus par taille structurée directionnelle. Pour surpasser les modèles précédents de même échelle dans l'évaluation des tâches en aval, il faut une réécriture, qui est « beaucoup plus rentable qu'une pré-formation à partir de zéro », a déclaré Xia Mengzhou. L'article donne également un exemple de sortie Sheared-LLaMA élaguée, indiquant que malgré une taille de seulement 1,3B et 2,7B, elle peut déjà générer des réponses cohérentes et riches. C'est la même chose que "jouer à moitié"

2023-10-12 commentaire 0  778

Présentation de l'article：Comment correspondre à la gamme Mingchao Zhezhi ? La gamme de Mingchao Zhezhi recommande Zhezhi + Sanhua + Mote Fei ou Kakaro + Zhezhi + Danjin. De nombreux amis ne savent toujours pas comment faire correspondre la gamme de Mingchao Breaking Branches. Nous avons compilé ici la gamme recommandée de Mingchao Breaking Branches. Comment faire correspondre la gamme de Mingchao Broken Branch 1. Broken Branch + Sanhua + Mote Fei 1. Le personnage cible est la principale source de dégâts, riche en efficacité de frappe critique, et la puissance d'attaque à cible unique est forte, ce qui est meilleur que les autres combinaisons. 2. Combiné avec le quatrième rôle, l'effet est meilleur et le rendement de l'équipe est efficacement amélioré. 2. Kakaro + Zhe Zhi + Dan Jin 1. Le protagoniste a un puissant effet auxiliaire dans cette combinaison, améliorant la capacité de production et augmentant le taux de croissance énergétique en temps de crise. 2. Les deux autres personnages ont bien performé. L'un a amélioré l'attaque de base et l'autre a créé un bon effet de contre-attaque, ce qui a rendu notre équipe

2024-08-15 commentaire 0  479

Présentation de l'article：Comment choisir l'arme de la branche Mingtide ? La première arme parmi les armes de la branche Tide Breaking est l’arme spéciale, suivie de la fumée permanente permanente. De nombreux amis ne savent toujours pas comment choisir l'arme de Mingchao Breaking Branches. Nous avons compilé ici les armes recommandées de Mingchao Breaking Branches. Comment choisir l'arme Mingchao Broken Branch T0 : Qiongzhi Bingxiao - arme cinq étoiles, Dwelling Smoke - arme cinq étoiles 1. Qiongzhi Bingxiao est l'arme spéciale du personnage briseur de branche, avec une puissance d'attaque et un bonus de dégâts de coup critique 2. Lors de l'utilisation Il libérera l'effet d'augmenter les dégâts et de renforcer l'attaque de base. La fumée debout a une forte attaque et un taux de coup critique T1 : Sleepless Fire - une arme quatre étoiles, Running Thunder - une arme quatre étoiles 1, Sleepless Fire peut être amélioré. après avoir lancé des compétences, 20 à 40 % de dégâts, durée plus longue 2. Il est recommandé aux joueurs civils de choisir Ben Lei, qui a une forte puissance d'attaque.

2024-08-14 commentaire 0  1084

Présentation de l'article：Comment faire correspondre l'équipe Mingchao Broken Branch ? Mingchao Breaking Branch est positionné comme C secondaire, mais il peut également être utilisé comme C principal, et il convient très bien à Angelica dahurica Dans certaines formations d'équipe, Angelica dahurica est plus adaptée pour casser des branches que Verinai. De nombreux amis ne savent toujours pas comment faire correspondre l'équipe de Mingchao Zhezhi. Voici une liste de configurations d'équipe recommandées pour Mingchao Zhezhi. Jetons-y un coup d'œil ensemble. Comment faire correspondre l'équipe Mingchao Broken Branch ? Ici, je recommande à Jin Xi de jouer le support, car l'axe du Snow Leopard est relativement court et il fera glisser l'axe du Snow Leopard dans le combat réel. Avantages et inconvénients des branches cassées : dessiner des branches cassées peut donner du Yinlin à l'équipe de Li Ge dans la seconde moitié de la 1.2 1. Augmentation des dégâts de compétence de 25 (Imashi doit être pris tous les deux jets) 2. Attaque coordonnée plus stable, chaque vague doit être plein de temps 3. Vous pouvez charger Jin Xi d'énergie pour son mouvement ultime. Jin Xi peut charger un peu d'énergie, puis l'activer lorsqu'il refroidit.

2024-08-19 commentaire 0  629

Présentation de l'article：Suggestions d'extraction de branche Mingtide. Zhezhi est un nouveau personnage après la mise à jour Mingchao 1.2. Ce personnage se positionne comme auxiliaire et adjoint, et peut fournir de très bons gains. De nombreux amis ne savent pas s'il faut extraire ce personnage, ni quelle est sa force. jetez un œil à l’introduction détaillée aujourd’hui. Suggestions pour extraire les branches cassées de Mingchao : Les branches cassées valent la peine d'être extraites. 1. La branche cassée est positionnée comme le sous-c de l'attribut condensation. Elle a une forte adaptabilité, il est donc fortement recommandé à tout le monde de la fumer. 2. Les branches cassées doivent être extraites des appels d'activité des personnages. 3. Quant aux armes de Zhezhi, le premier choix est le Zhuanwu Qiongzhi Bingxiao de Zhezhi. Le remplacement inférieur de Zhuanwu est la main de marionnette Zhuanwu de Yinlin ou l'arme permanente cinq étoiles Yilan Fulu.

2024-08-20 commentaire 0  1193

Présentation de l'article：Suggestions d'extraction de branche Mingtide. Zhezhi est un nouveau personnage après la mise à jour Mingchao 1.2. Ce personnage se positionne comme auxiliaire et adjoint, et peut fournir de très bons gains. De nombreux amis ne savent pas s'il faut extraire ce personnage, ni quelle est sa force. jetez un œil à l’introduction détaillée aujourd’hui. Suggestions pour extraire les branches cassées de Mingchao : Les branches cassées valent la peine d'être extraites. 1. La branche cassée est positionnée comme le sous-c de l'attribut condensation. Elle a une forte adaptabilité, il est donc fortement recommandé à tout le monde de la fumer. 2. Les branches cassées doivent être extraites des appels d'activité des personnages. 3. Quant aux armes de Zhezhi, le premier choix est le Zhuanwu Qiongzhi Bingxiao de Zhezhi. Le remplacement inférieur de Zhuanwu est la main de marionnette Zhuanwu de Yinlin ou l'arme permanente cinq étoiles Yilan Fulu.

2024-08-20 commentaire 0  1131