Table des matières
1. Méthode d'invite
2. Discrétisation
3. Alignement du texte des séries chronologiques
4. Introduction d'informations visuelles
5. Outils de grand modèle
Maison Périphériques technologiques IA Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !

Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !

Feb 19, 2024 pm 11:50 PM
prompt nlp 大模型

Récemment, l'Université de Californie a publié un article de synthèse explorant les méthodes d'application de grands modèles de langage pré-entraînés dans le domaine du traitement du langage naturel à la prévision de séries chronologiques. Cet article résume l'application de 5 grands modèles NLP différents dans le domaine des séries chronologiques. Ensuite, nous présenterons brièvement ces 5 méthodes mentionnées dans cette revue.

Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !Pictures

Titre de l'article : Grands modèles linguistiques pour les séries temporelles : une enquête

Adresse de téléchargement : https://arxiv.org/pdf/2402.01801.pdf

Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !Pictures

1. Méthode d'invite

En utilisant directement la méthode d'invite, le modèle peut prédire la sortie des données de séries chronologiques. Dans la méthode d'invite précédente, l'idée de base était de pré-entraîner un texte d'invite, de le remplir de données de séries chronologiques et de laisser le modèle générer des résultats de prédiction. Par exemple, lors de la création d'un texte décrivant une tâche de série chronologique, remplissez les données de série chronologique et laissez le modèle générer directement les résultats de prédiction.

Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !Images

Lors du traitement des séries chronologiques, les nombres sont souvent considérés comme faisant partie du texte, et la question de la tokenisation des nombres a également attiré beaucoup d'attention. Certaines méthodes ajoutent spécifiquement des espaces entre les nombres pour distinguer plus clairement les nombres et éviter les distinctions déraisonnables entre les nombres dans les dictionnaires.

2. Discrétisation

Ce type de méthode discrétise les séries temporelles et convertit les valeurs continues en résultats d'identification discrets pour s'adapter à la forme d'entrée des grands modèles NLP. Par exemple, une approche consiste à mapper des séries temporelles en représentations discrètes à l’aide de la technologie Vector Quantized-Variational AutoEncoder (VQ-VAE). VQ-VAE est une structure d'encodeur automatique basée sur VAE qui mappe l'entrée d'origine dans un vecteur de représentation via l'encodeur, puis restaure les données d'origine via le décodeur. VQ-VAE garantit que le vecteur de représentation intermédiaire généré est discrétisé. Un dictionnaire est construit sur la base de ce vecteur de représentation discrétisé pour réaliser la cartographie de la discrétisation des données de séries chronologiques. Une autre méthode est basée sur la discrétisation des K-means, utilisant les centroïdes générés par Kmeans pour discrétiser la série temporelle originale. De plus, dans certains travaux, les séries chronologiques sont également directement converties en texte. Par exemple, dans certains scénarios financiers, les augmentations de prix quotidiennes, les diminutions de prix et d'autres informations sont directement converties en symboles de lettres correspondants en entrée du grand modèle NLP.

Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !Images

3. Alignement du texte des séries chronologiques

Ce type de méthode s'appuie sur la technologie d'alignement dans le domaine multimodal pour aligner la représentation des séries chronologiques dans l'espace texte, permettant ainsi aux données des séries chronologiques d'être directement entrée dans les cibles de grand modèle PNL.

Dans ce type de méthode, certaines méthodes d'alignement multimodal sont largement utilisées. Le plus typique est l'alignement multimodal basé sur l'apprentissage contrastif. Semblable à CLIP, un encodeur de séries temporelles et un grand modèle sont utilisés pour saisir respectivement les vecteurs de représentation des séries temporelles et du texte, puis l'apprentissage contrastif est utilisé pour raccourcir la distance. entre des paires d'échantillons positives. Alignement des représentations de séries temporelles et de données textuelles dans l'espace latent.

Une autre méthode consiste à affiner la base des données de séries chronologiques, en utilisant le grand modèle NLP comme épine dorsale et en introduisant des données de séries chronologiques d'adaptation réseau supplémentaires sur cette base. Parmi elles, les méthodes de réglage fin intermodales efficaces telles que LoRA sont relativement courantes. Elles gèlent la plupart des paramètres du backbone et affinent seulement un petit nombre de paramètres, ou introduisent un petit nombre de paramètres d'adaptateur pour un réglage fin afin d'obtenir un alignement multimodal.

Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !Images

4. Introduction d'informations visuelles

Cette méthode est relativement rare. Elle établit généralement un lien entre les séries chronologiques et les informations visuelles, puis introduit des capacités multimodales qui ont été étudiées en profondeur à l'aide d'images et de texte. , pour extraire des fonctionnalités efficaces pour les tâches en aval. Par exemple, ImageBind aligne uniformément les données de 6 modalités, y compris les données de type série chronologique, pour parvenir à l'unification de grands modèles multimodaux. Certains modèles dans le domaine financier convertissent les cours des actions en données graphiques, puis utilisent CLIP pour aligner les graphiques et le texte afin de générer des fonctionnalités liées aux graphiques pour les tâches de séries chronologiques en aval.

5. Outils de grand modèle

Ce type de méthode n'améliore plus le grand modèle NLP, ni ne transforme le formulaire de données de séries chronologiques pour une adaptation de grand modèle, mais utilise directement le grand modèle NLP comme outil pour résoudre les problèmes de séries chronologiques. Par exemple, laissez le grand modèle générer du code pour résoudre la prédiction de séries chronologiques et l'appliquer à la prédiction de séries chronologiques ou laissez le grand modèle appeler l'API open source pour résoudre les problèmes de séries chronologiques ; Bien entendu, cette méthode est davantage orientée vers les applications pratiques.

Enfin, l'article résume le travail représentatif et les ensembles de données représentatifs de diverses méthodes :

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Lancement du grand modèle Bytedance Beanbao, le service d'IA complet Volcano Engine aide les entreprises à se transformer intelligemment Lancement du grand modèle Bytedance Beanbao, le service d'IA complet Volcano Engine aide les entreprises à se transformer intelligemment Jun 05, 2024 pm 07:59 PM

Tan Dai, président de Volcano Engine, a déclaré que les entreprises qui souhaitent bien mettre en œuvre de grands modèles sont confrontées à trois défis clés : l'effet de modèle, le coût d'inférence et la difficulté de mise en œuvre : elles doivent disposer d'un bon support de base de grands modèles pour résoudre des problèmes complexes, et elles doivent également avoir une inférence à faible coût. Les services permettent d'utiliser largement de grands modèles, et davantage d'outils, de plates-formes et d'applications sont nécessaires pour aider les entreprises à mettre en œuvre des scénarios. ——Tan Dai, président de Huoshan Engine 01. Le grand modèle de pouf fait ses débuts et est largement utilisé. Le polissage de l'effet de modèle est le défi le plus critique pour la mise en œuvre de l'IA. Tan Dai a souligné que ce n'est que grâce à une utilisation intensive qu'un bon modèle peut être poli. Actuellement, le modèle Doubao traite 120 milliards de jetons de texte et génère 30 millions d'images chaque jour. Afin d'aider les entreprises à mettre en œuvre des scénarios de modèles à grande échelle, le modèle à grande échelle beanbao développé indépendamment par ByteDance sera lancé à travers le volcan.

L'application de grands modèles Tencent Yuanbao est en ligne ! Hunyuan est mis à niveau pour créer un assistant IA complet pouvant être transporté n'importe où L'application de grands modèles Tencent Yuanbao est en ligne ! Hunyuan est mis à niveau pour créer un assistant IA complet pouvant être transporté n'importe où Jun 09, 2024 pm 10:38 PM

Le 30 mai, Tencent a annoncé une mise à niveau complète de son modèle Hunyuan. L'application « Tencent Yuanbao » basée sur le modèle Hunyuan a été officiellement lancée et peut être téléchargée sur les magasins d'applications Apple et Android. Par rapport à la version de l'applet Hunyuan lors de la phase de test précédente, Tencent Yuanbao fournit des fonctionnalités de base telles que la recherche IA, le résumé IA et l'écriture IA pour les scénarios d'efficacité du travail ; pour les scénarios de la vie quotidienne, le gameplay de Yuanbao est également plus riche et fournit de multiples fonctionnalités d'application IA. , et de nouvelles méthodes de jeu telles que la création d'agents personnels sont ajoutées. « Tencent ne s'efforcera pas d'être le premier à créer un grand modèle. » Liu Yuhong, vice-président de Tencent Cloud et responsable du grand modèle Tencent Hunyuan, a déclaré : « Au cours de l'année écoulée, nous avons continué à promouvoir les capacités de Tencent. Grand modèle Tencent Hunyuan. Dans la technologie polonaise riche et massive dans des scénarios commerciaux tout en obtenant un aperçu des besoins réels des utilisateurs.

Découverte du framework d'inférence de grands modèles NVIDIA : TensorRT-LLM Découverte du framework d'inférence de grands modèles NVIDIA : TensorRT-LLM Feb 01, 2024 pm 05:24 PM

1. Positionnement du produit TensorRT-LLM TensorRT-LLM est une solution d'inférence évolutive développée par NVIDIA pour les grands modèles de langage (LLM). Il crée, compile et exécute des graphiques de calcul basés sur le cadre de compilation d'apprentissage en profondeur TensorRT et s'appuie sur l'implémentation efficace des noyaux dans FastTransformer. De plus, il utilise NCCL pour la communication entre les appareils. Les développeurs peuvent personnaliser les opérateurs pour répondre à des besoins spécifiques en fonction du développement technologique et des différences de demande, comme le développement de GEMM personnalisés basés sur le coutelas. TensorRT-LLM est la solution d'inférence officielle de NVIDIA, engagée à fournir des performances élevées et à améliorer continuellement sa praticité. TensorRT-LL

Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Mar 18, 2024 am 09:20 AM

Aujourd'hui, j'aimerais partager un travail de recherche récent de l'Université du Connecticut qui propose une méthode pour aligner les données de séries chronologiques avec de grands modèles de traitement du langage naturel (NLP) sur l'espace latent afin d'améliorer les performances de prévision des séries chronologiques. La clé de cette méthode consiste à utiliser des indices spatiaux latents (invites) pour améliorer la précision des prévisions de séries chronologiques. Titre de l'article : S2IP-LLM : SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Adresse de téléchargement : https://arxiv.org/pdf/2403.05798v1.pdf 1. Modèle de fond de problème important

Nouveau benchmark de test publié, le Llama 3 open source le plus puissant est gêné Nouveau benchmark de test publié, le Llama 3 open source le plus puissant est gêné Apr 23, 2024 pm 12:13 PM

Si les questions du test sont trop simples, les meilleurs étudiants et les mauvais étudiants peuvent obtenir 90 points, et l'écart ne peut pas être creusé... Avec la sortie plus tard de modèles plus puissants tels que Claude3, Llama3 et même GPT-5, l'industrie est en besoin urgent d'un modèle de référence plus difficile et différencié. LMSYS, l'organisation à l'origine du grand modèle Arena, a lancé la référence de nouvelle génération, Arena-Hard, qui a attiré une large attention. Il existe également la dernière référence pour la force des deux versions affinées des instructions Llama3. Par rapport à MTBench, qui avait des scores similaires auparavant, la discrimination Arena-Hard est passée de 22,6 % à 87,4 %, ce qui est plus fort et plus faible en un coup d'œil. Arena-Hard est construit à partir de données humaines en temps réel provenant de l'arène et a un taux de cohérence de 89,1 % avec les préférences humaines.

Référence GPT-4 ! Le grand modèle Jiutian de China Mobile a passé le double enregistrement Référence GPT-4 ! Le grand modèle Jiutian de China Mobile a passé le double enregistrement Apr 04, 2024 am 09:31 AM

Selon des informations du 4 avril, l'Administration du cyberespace de Chine a récemment publié une liste de grands modèles enregistrés, et le « Grand modèle d'interaction du langage naturel Jiutian » de China Mobile y a été inclus, indiquant que le grand modèle Jiutian AI de China Mobile peut officiellement fournir des informations artificielles génératives. services de renseignement vers le monde extérieur. China Mobile a déclaré qu'il s'agit du premier modèle à grande échelle développé par une entreprise centrale à avoir réussi à la fois le double enregistrement national « Enregistrement du service d'intelligence artificielle générative » et le double enregistrement « Enregistrement de l'algorithme de service de synthèse profonde domestique ». Selon les rapports, le grand modèle d'interaction en langage naturel de Jiutian présente les caractéristiques de capacités, de sécurité et de crédibilité améliorées de l'industrie, et prend en charge la localisation complète. Il a formé plusieurs versions de paramètres telles que 9 milliards, 13,9 milliards, 57 milliards et 100 milliards. et peut être déployé de manière flexible dans le Cloud, la périphérie et la fin sont des situations différentes

Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Jul 25, 2024 am 06:42 AM

L'ensemble de données ScienceAI Question Answering (QA) joue un rôle essentiel dans la promotion de la recherche sur le traitement du langage naturel (NLP). Des ensembles de données d'assurance qualité de haute qualité peuvent non seulement être utilisés pour affiner les modèles, mais également évaluer efficacement les capacités des grands modèles linguistiques (LLM), en particulier la capacité à comprendre et à raisonner sur les connaissances scientifiques. Bien qu’il existe actuellement de nombreux ensembles de données scientifiques d’assurance qualité couvrant la médecine, la chimie, la biologie et d’autres domaines, ces ensembles de données présentent encore certaines lacunes. Premièrement, le formulaire de données est relativement simple, et la plupart sont des questions à choix multiples. Elles sont faciles à évaluer, mais limitent la plage de sélection des réponses du modèle et ne peuvent pas tester pleinement la capacité du modèle à répondre aux questions scientifiques. En revanche, les questions et réponses ouvertes

Pratique avancée du graphe de connaissances industrielles Pratique avancée du graphe de connaissances industrielles Jun 13, 2024 am 11:59 AM

1. Introduction au contexte Tout d’abord, présentons l’historique du développement de la technologie Yunwen. Yunwen Technology Company... 2023 est la période où les grands modèles prédominent. De nombreuses entreprises pensent que l'importance des graphiques a été considérablement réduite après les grands modèles et que les systèmes d'information prédéfinis étudiés précédemment ne sont plus importants. Cependant, avec la promotion du RAG et la prévalence de la gouvernance des données, nous avons constaté qu'une gouvernance des données plus efficace et des données de haute qualité sont des conditions préalables importantes pour améliorer l'efficacité des grands modèles privatisés. Par conséquent, de plus en plus d'entreprises commencent à y prêter attention. au contenu lié à la construction des connaissances. Cela favorise également la construction et le traitement des connaissances à un niveau supérieur, où de nombreuses techniques et méthodes peuvent être explorées. On voit que l'émergence d'une nouvelle technologie ne détruit pas toutes les anciennes technologies, mais peut également intégrer des technologies nouvelles et anciennes.

See all articles