Table des matières
Créez un module Lora temporaire et jetez-le après utilisation
Plus le texte est long, meilleur est l'effet
Pour résumer les résultats ci-dessus, l'auteur donne également trois suggestions pour l'application pratique de Temp-Lora :
Il est à noter que pour inventer une méthode aussi simple et innovante, l'auteur n'a pas laissé beaucoup d'informations sur la source :
Maison Périphériques technologiques IA Les journaux anonymes proposent des idées surprenantes ! Cela peut en fait être fait pour améliorer les capacités de texte long des grands modèles.

Les journaux anonymes proposent des idées surprenantes ! Cela peut en fait être fait pour améliorer les capacités de texte long des grands modèles.

Feb 02, 2024 pm 06:21 PM
模型 训练

Quand il s'agit d'améliorer les capacités de texte long des grands modèles, pensez-vous à l'extrapolation de longueur ou à l'expansion de la fenêtre contextuelle ?

Non, ceux-ci consomment trop de ressources matérielles.

Jetons un coup d'œil à une nouvelle solution merveilleuse :

est essentiellement différente du cache KV utilisé par des méthodes telles que l'extrapolation de longueur. Elle utilise les paramètres du modèle pour stocker une grande quantité d'informations contextuelles. .

La méthode spécifique consiste à construire un module Lora temporaire, de sorte qu'il ne "diffuse les mises à jour" que pendant le processus de génération de texte long, c'est-à-dire qu'il utilise en permanence le contenu généré précédemment comme entrée pour servir de données d'entraînement. , garantissant ainsi que les connaissances sont stockées dans les paramètres du modèle.

Puis une fois l'inférence terminée, jetez-la pour vous assurer qu'il n'y a pas d'impact à long terme sur les paramètres du modèle.

Cette méthode nous permet de stocker autant d'informations contextuelles que nous le souhaitons sans agrandir la fenêtre contextuelle Stockez autant que vous le souhaitez.

Des expériences ont prouvé que cette méthode :

  • peut améliorer considérablement la qualité des tâches de texte long du modèle, atteignant une réduction de 29,6 % de la perplexité et une amélioration de 53,2 % de la qualité de la traduction de texte long (score BLEU)  ;
  • peut également être compatible avec la plupart des méthodes de génération de texte long existantes et les améliorer.
  • Le plus important est que cela peut réduire considérablement les coûts informatiques.

Tout en assurant une légère amélioration de la qualité de génération (perplexité réduite de 3,8%), les FLOP nécessaires à l'inférence sont réduits de 70,5% et le délai est réduit de 51,5% !

Pour la situation spécifique, ouvrons le papier et jetons un œil.

Créez un module Lora temporaire et jetez-le après utilisation

La méthode s'appelle Temp-Lora Le schéma d'architecture est le suivant :

Les journaux anonymes proposent des idées surprenantes ! Cela peut en fait être fait pour améliorer les capacités de texte long des grands modèles.

Le noyau est d'utiliser le texte précédemment généré pour progressivement. s'entraîner de manière autorégressive Module Lora temporaire.

Ce module est très adaptable et peut être ajusté en continu, afin de pouvoir avoir une compréhension approfondie des contextes de différentes distances.

L'algorithme spécifique est le suivant :

Pendant le processus de génération, les jetons sont générés bloc par bloc. Chaque fois qu'un bloc est généré, le dernier jeton Lx est utilisé comme entrée X pour générer les jetons suivants.

Une fois que le nombre de jetons générés atteint la taille de bloc prédéfinie Δ, démarrez la formation du module Temp-Lora en utilisant le dernier bloc, puis démarrez la génération de bloc suivante.

Les journaux anonymes proposent des idées surprenantes ! Cela peut en fait être fait pour améliorer les capacités de texte long des grands modèles.

Dans l'expérience, l'auteur définit Δ+Lx sur W pour utiliser pleinement la taille de la fenêtre contextuelle du modèle.

Pour la formation du module Temp-Lora, apprendre à générer de nouveaux blocs sans aucune condition peut ne pas constituer un objectif d'entraînement efficace et conduire à de sérieux surapprentissages.

Pour résoudre ce problème, les auteurs intègrent des balises LT devant chaque bloc dans le processus de formation, en les utilisant comme entrée et le bloc comme sortie.

Enfin, l'auteur propose également une stratégie appelée Cache Reuse (Cache Reuse) pour obtenir une inférence plus efficace.

D'une manière générale, après la mise à jour du module Temp-Loramo dans le framework standard, nous devons recalculer l'état KV avec les paramètres mis à jour.

Vous pouvez également réutiliser l'état KV mis en cache existant tout en utilisant le modèle mis à jour pour la génération de texte ultérieure.

Plus précisément, nous utilisons le dernier module Temp-Lora pour recalculer l'état KV uniquement lorsque le modèle génère une longueur maximale (taille de la fenêtre contextuelle W).

Une telle méthode de réutilisation du cache peut accélérer la génération sans affecter de manière significative la qualité de la génération.

C’est toute l’introduction à la méthode Temp-Lora Regardons principalement le test ci-dessous.

Plus le texte est long, meilleur est l'effet

L'auteur a évalué le framework Temp-Lora sur les modèles Llama2-7B-4K, Llama2-13B-4K, Llama2-7B-32K et Yi-Chat-6B et a couvert ces deux les types de tâches de texte long sont la génération et la traduction.

L'ensemble de données de test est un sous-ensemble du benchmark de modélisation de langage de texte long PG19, à partir duquel 40 livres ont été sélectionnés au hasard.

L'autre est un sous-ensemble aléatoire de l'ensemble de données Guofeng du WMT 2023, contenant 20 romans chinois en ligne traduits en anglais par des professionnels.

Regardons d’abord les résultats sur PG19.

Le tableau ci-dessous montre le PPL (perplexité, reflétant l'incertitude du modèle pour une entrée donnée, le plus bas sera le mieux) comparaison de différents modèles sur PG19 avec et sans le module Temp-Lora. Divisez chaque document en segments de 0 à 100 000 à plus de 500 000 jetons.

On peut voir que le PPL de tous les modèles a diminué de manière significative après Temp-Lora, et à mesure que les clips deviennent de plus en plus longs, l'impact de Temp-Lora est plus évident (1-100K n'a diminué que de 3,6%, 500K+ a diminué de 13,2%) .

Les journaux anonymes proposent des idées surprenantes ! Cela peut en fait être fait pour améliorer les capacités de texte long des grands modèles.

Par conséquent, nous pouvons simplement conclure : Plus il y a de texte, plus la nécessité d'utiliser Temp-Lora est forte.

De plus, nous pouvons constater que l'ajustement de la taille du bloc de 1024 à 2048 et 4096 entraîne une légère augmentation du PPL.

Ce n'est pas surprenant, après tout, le module Temp-Lora est entraîné sur les données du bloc précédent.

Ces données nous indiquent principalement que le choix de la taille des blocs est un compromis clé entre la qualité de la génération et l'efficacité des calculs (une analyse plus approfondie peut être trouvée dans l'article) .

Enfin, nous pouvons également constater que la réutilisation du cache n'entraînera aucune perte de performances.

L'auteur a déclaré : C'est une nouvelle très encourageante.

Voici les résultats sur l'ensemble de données Guofeng.

On constate que Temp-Lora a également un impact significatif sur les tâches de traduction littéraire de textes longs.

Améliorations significatives de toutes les métriques par rapport au modèle de base : -29,6 % de réduction du PPL, +53,2 % d'amélioration du score BLEU

(similarité du texte traduit automatiquement avec des traductions de référence de haute qualité), +53,2 % d'amélioration du score COMET (Egalement un indicateur de qualité) amélioré de +8,4%.

Les journaux anonymes proposent des idées surprenantes ! Cela peut en fait être fait pour améliorer les capacités de texte long des grands modèles.Enfin, il y a l'exploration de l'efficacité et de la qualité informatiques.

L'auteur a découvert grâce à des expériences que l'utilisation de la

configuration Temp-Lora la plus "économique" (Δ=2K, W=4K) peut réduire le PPL de 3,8 % tout en économisant 70,5 % des FLOP et 51,5 % du délai. Au contraire, si nous ignorons complètement le coût de calcul et utilisons

la configuration la plus "luxueuse" (Δ=1K et W=24K), nous pouvons également obtenir une réduction de 5,0% du PPL et 17 $ supplémentaires % d'augmentation du FLOP et 19,6 % de latence. Suggestions d'utilisation

Pour résumer les résultats ci-dessus, l'auteur donne également trois suggestions pour l'application pratique de Temp-Lora :

1 Pour les applications qui nécessitent le plus haut niveau de génération de texte long, intégrez Temp sans modifier aucun paramètre. -Lora peut être ajoutée aux modèles existants pour améliorer considérablement les performances à un coût relativement modeste.

2. Pour les applications qui valorisent une latence ou une utilisation de la mémoire minimale, le coût de calcul peut être considérablement réduit en réduisant la longueur d'entrée et les informations contextuelles stockées dans Temp-Lora.

Dans ce paramètre, nous pouvons utiliser une taille de fenêtre courte fixe

(telle que 2K ou 4K)

pour gérer un texte presque infiniment long (500K+ dans les expériences de l'auteur) . 3. Enfin, veuillez noter que dans les scénarios qui ne contiennent pas une grande quantité de texte, comme lorsque le contexte en pré-formation est plus petit que la taille de la fenêtre du modèle, Temp-Lora est inutile.

L'auteur appartient à une organisation confidentielle

Il est à noter que pour inventer une méthode aussi simple et innovante, l'auteur n'a pas laissé beaucoup d'informations sur la source :

Le nom de l'organisation est directement signé comme "Secrétaire de l'Organisation", et les noms des trois auteurs ne sont que des noms de famille complets.

Les journaux anonymes proposent des idées surprenantes ! Cela peut en fait être fait pour améliorer les capacités de texte long des grands modèles.Cependant, à en juger par les informations envoyées par courrier électronique, il peut s'agir d'écoles telles que la City University of Hong Kong et la Hong Kong Chinese Language School.

Au final, que pensez-vous de cette méthode ?

Papier :

https://www.php.cn/link/f74e95cf0ef6ccd85c791b5d351aa327

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire ! Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire ! Apr 03, 2024 pm 12:04 PM

0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données. La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données. Apr 29, 2024 pm 06:55 PM

Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.

La version Kuaishou de Sora 'Ke Ling' est ouverte aux tests : génère plus de 120 s de vidéo, comprend mieux la physique et peut modéliser avec précision des mouvements complexes La version Kuaishou de Sora 'Ke Ling' est ouverte aux tests : génère plus de 120 s de vidéo, comprend mieux la physique et peut modéliser avec précision des mouvements complexes Jun 11, 2024 am 09:51 AM

Quoi? Zootopie est-elle concrétisée par l’IA domestique ? Avec la vidéo est exposé un nouveau modèle de génération vidéo domestique à grande échelle appelé « Keling ». Sora utilise une voie technique similaire et combine un certain nombre d'innovations technologiques auto-développées pour produire des vidéos qui comportent non seulement des mouvements larges et raisonnables, mais qui simulent également les caractéristiques du monde physique et possèdent de fortes capacités de combinaison conceptuelle et d'imagination. Selon les données, Keling prend en charge la génération de vidéos ultra-longues allant jusqu'à 2 minutes à 30 ips, avec des résolutions allant jusqu'à 1080p, et prend en charge plusieurs formats d'image. Un autre point important est que Keling n'est pas une démo ou une démonstration de résultats vidéo publiée par le laboratoire, mais une application au niveau produit lancée par Kuaishou, un acteur leader dans le domaine de la vidéo courte. De plus, l'objectif principal est d'être pragmatique, de ne pas faire de chèques en blanc et de se mettre en ligne dès sa sortie. Le grand modèle de Ke Ling est déjà sorti à Kuaiying.

L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois. L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois. May 07, 2024 pm 05:00 PM

Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,

See all articles