


Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !
Récemment, l'Université de Californie a publié un article de synthèse explorant les méthodes d'application de grands modèles de langage pré-entraînés dans le domaine du traitement du langage naturel à la prévision de séries chronologiques. Cet article résume l'application de 5 grands modèles NLP différents dans le domaine des séries chronologiques. Ensuite, nous présenterons brièvement ces 5 méthodes mentionnées dans cette revue.
Pictures
Titre de l'article : Grands modèles linguistiques pour les séries temporelles : une enquête
Adresse de téléchargement : https://arxiv.org/pdf/2402.01801.pdf
Pictures
1. Méthode d'invite
En utilisant directement la méthode d'invite, le modèle peut prédire la sortie des données de séries chronologiques. Dans la méthode d'invite précédente, l'idée de base était de pré-entraîner un texte d'invite, de le remplir de données de séries chronologiques et de laisser le modèle générer des résultats de prédiction. Par exemple, lors de la création d'un texte décrivant une tâche de série chronologique, remplissez les données de série chronologique et laissez le modèle générer directement les résultats de prédiction.
Images
Lors du traitement des séries chronologiques, les nombres sont souvent considérés comme faisant partie du texte, et la question de la tokenisation des nombres a également attiré beaucoup d'attention. Certaines méthodes ajoutent spécifiquement des espaces entre les nombres pour distinguer plus clairement les nombres et éviter les distinctions déraisonnables entre les nombres dans les dictionnaires.
2. Discrétisation
Ce type de méthode discrétise les séries temporelles et convertit les valeurs continues en résultats d'identification discrets pour s'adapter à la forme d'entrée des grands modèles NLP. Par exemple, une approche consiste à mapper des séries temporelles en représentations discrètes à l’aide de la technologie Vector Quantized-Variational AutoEncoder (VQ-VAE). VQ-VAE est une structure d'encodeur automatique basée sur VAE qui mappe l'entrée d'origine dans un vecteur de représentation via l'encodeur, puis restaure les données d'origine via le décodeur. VQ-VAE garantit que le vecteur de représentation intermédiaire généré est discrétisé. Un dictionnaire est construit sur la base de ce vecteur de représentation discrétisé pour réaliser la cartographie de la discrétisation des données de séries chronologiques. Une autre méthode est basée sur la discrétisation des K-means, utilisant les centroïdes générés par Kmeans pour discrétiser la série temporelle originale. De plus, dans certains travaux, les séries chronologiques sont également directement converties en texte. Par exemple, dans certains scénarios financiers, les augmentations de prix quotidiennes, les diminutions de prix et d'autres informations sont directement converties en symboles de lettres correspondants en entrée du grand modèle NLP.
Images
3. Alignement du texte des séries chronologiques
Ce type de méthode s'appuie sur la technologie d'alignement dans le domaine multimodal pour aligner la représentation des séries chronologiques dans l'espace texte, permettant ainsi aux données des séries chronologiques d'être directement entrée dans les cibles de grand modèle PNL.
Dans ce type de méthode, certaines méthodes d'alignement multimodal sont largement utilisées. Le plus typique est l'alignement multimodal basé sur l'apprentissage contrastif. Semblable à CLIP, un encodeur de séries temporelles et un grand modèle sont utilisés pour saisir respectivement les vecteurs de représentation des séries temporelles et du texte, puis l'apprentissage contrastif est utilisé pour raccourcir la distance. entre des paires d'échantillons positives. Alignement des représentations de séries temporelles et de données textuelles dans l'espace latent.
Une autre méthode consiste à affiner la base des données de séries chronologiques, en utilisant le grand modèle NLP comme épine dorsale et en introduisant des données de séries chronologiques d'adaptation réseau supplémentaires sur cette base. Parmi elles, les méthodes de réglage fin intermodales efficaces telles que LoRA sont relativement courantes. Elles gèlent la plupart des paramètres du backbone et affinent seulement un petit nombre de paramètres, ou introduisent un petit nombre de paramètres d'adaptateur pour un réglage fin afin d'obtenir un alignement multimodal.
Images
4. Introduction d'informations visuelles
Cette méthode est relativement rare. Elle établit généralement un lien entre les séries chronologiques et les informations visuelles, puis introduit des capacités multimodales qui ont été étudiées en profondeur à l'aide d'images et de texte. , pour extraire des fonctionnalités efficaces pour les tâches en aval. Par exemple, ImageBind aligne uniformément les données de 6 modalités, y compris les données de type série chronologique, pour parvenir à l'unification de grands modèles multimodaux. Certains modèles dans le domaine financier convertissent les cours des actions en données graphiques, puis utilisent CLIP pour aligner les graphiques et le texte afin de générer des fonctionnalités liées aux graphiques pour les tâches de séries chronologiques en aval.
5. Outils de grand modèle
Ce type de méthode n'améliore plus le grand modèle NLP, ni ne transforme le formulaire de données de séries chronologiques pour une adaptation de grand modèle, mais utilise directement le grand modèle NLP comme outil pour résoudre les problèmes de séries chronologiques. Par exemple, laissez le grand modèle générer du code pour résoudre la prédiction de séries chronologiques et l'appliquer à la prédiction de séries chronologiques ou laissez le grand modèle appeler l'API open source pour résoudre les problèmes de séries chronologiques ; Bien entendu, cette méthode est davantage orientée vers les applications pratiques.
Enfin, l'article résume le travail représentatif et les ensembles de données représentatifs de diverses méthodes :
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Tan Dai, président de Volcano Engine, a déclaré que les entreprises qui souhaitent bien mettre en œuvre de grands modèles sont confrontées à trois défis clés : l'effet de modèle, le coût d'inférence et la difficulté de mise en œuvre : elles doivent disposer d'un bon support de base de grands modèles pour résoudre des problèmes complexes, et elles doivent également avoir une inférence à faible coût. Les services permettent d'utiliser largement de grands modèles, et davantage d'outils, de plates-formes et d'applications sont nécessaires pour aider les entreprises à mettre en œuvre des scénarios. ——Tan Dai, président de Huoshan Engine 01. Le grand modèle de pouf fait ses débuts et est largement utilisé. Le polissage de l'effet de modèle est le défi le plus critique pour la mise en œuvre de l'IA. Tan Dai a souligné que ce n'est que grâce à une utilisation intensive qu'un bon modèle peut être poli. Actuellement, le modèle Doubao traite 120 milliards de jetons de texte et génère 30 millions d'images chaque jour. Afin d'aider les entreprises à mettre en œuvre des scénarios de modèles à grande échelle, le modèle à grande échelle beanbao développé indépendamment par ByteDance sera lancé à travers le volcan.

Le 30 mai, Tencent a annoncé une mise à niveau complète de son modèle Hunyuan. L'application « Tencent Yuanbao » basée sur le modèle Hunyuan a été officiellement lancée et peut être téléchargée sur les magasins d'applications Apple et Android. Par rapport à la version de l'applet Hunyuan lors de la phase de test précédente, Tencent Yuanbao fournit des fonctionnalités de base telles que la recherche IA, le résumé IA et l'écriture IA pour les scénarios d'efficacité du travail ; pour les scénarios de la vie quotidienne, le gameplay de Yuanbao est également plus riche et fournit de multiples fonctionnalités d'application IA. , et de nouvelles méthodes de jeu telles que la création d'agents personnels sont ajoutées. « Tencent ne s'efforcera pas d'être le premier à créer un grand modèle. » Liu Yuhong, vice-président de Tencent Cloud et responsable du grand modèle Tencent Hunyuan, a déclaré : « Au cours de l'année écoulée, nous avons continué à promouvoir les capacités de Tencent. Grand modèle Tencent Hunyuan. Dans la technologie polonaise riche et massive dans des scénarios commerciaux tout en obtenant un aperçu des besoins réels des utilisateurs.

1. Positionnement du produit TensorRT-LLM TensorRT-LLM est une solution d'inférence évolutive développée par NVIDIA pour les grands modèles de langage (LLM). Il crée, compile et exécute des graphiques de calcul basés sur le cadre de compilation d'apprentissage en profondeur TensorRT et s'appuie sur l'implémentation efficace des noyaux dans FastTransformer. De plus, il utilise NCCL pour la communication entre les appareils. Les développeurs peuvent personnaliser les opérateurs pour répondre à des besoins spécifiques en fonction du développement technologique et des différences de demande, comme le développement de GEMM personnalisés basés sur le coutelas. TensorRT-LLM est la solution d'inférence officielle de NVIDIA, engagée à fournir des performances élevées et à améliorer continuellement sa praticité. TensorRT-LL

Aujourd'hui, j'aimerais partager un travail de recherche récent de l'Université du Connecticut qui propose une méthode pour aligner les données de séries chronologiques avec de grands modèles de traitement du langage naturel (NLP) sur l'espace latent afin d'améliorer les performances de prévision des séries chronologiques. La clé de cette méthode consiste à utiliser des indices spatiaux latents (invites) pour améliorer la précision des prévisions de séries chronologiques. Titre de l'article : S2IP-LLM : SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Adresse de téléchargement : https://arxiv.org/pdf/2403.05798v1.pdf 1. Modèle de fond de problème important

Si les questions du test sont trop simples, les meilleurs étudiants et les mauvais étudiants peuvent obtenir 90 points, et l'écart ne peut pas être creusé... Avec la sortie plus tard de modèles plus puissants tels que Claude3, Llama3 et même GPT-5, l'industrie est en besoin urgent d'un modèle de référence plus difficile et différencié. LMSYS, l'organisation à l'origine du grand modèle Arena, a lancé la référence de nouvelle génération, Arena-Hard, qui a attiré une large attention. Il existe également la dernière référence pour la force des deux versions affinées des instructions Llama3. Par rapport à MTBench, qui avait des scores similaires auparavant, la discrimination Arena-Hard est passée de 22,6 % à 87,4 %, ce qui est plus fort et plus faible en un coup d'œil. Arena-Hard est construit à partir de données humaines en temps réel provenant de l'arène et a un taux de cohérence de 89,1 % avec les préférences humaines.

Selon des informations du 4 avril, l'Administration du cyberespace de Chine a récemment publié une liste de grands modèles enregistrés, et le « Grand modèle d'interaction du langage naturel Jiutian » de China Mobile y a été inclus, indiquant que le grand modèle Jiutian AI de China Mobile peut officiellement fournir des informations artificielles génératives. services de renseignement vers le monde extérieur. China Mobile a déclaré qu'il s'agit du premier modèle à grande échelle développé par une entreprise centrale à avoir réussi à la fois le double enregistrement national « Enregistrement du service d'intelligence artificielle générative » et le double enregistrement « Enregistrement de l'algorithme de service de synthèse profonde domestique ». Selon les rapports, le grand modèle d'interaction en langage naturel de Jiutian présente les caractéristiques de capacités, de sécurité et de crédibilité améliorées de l'industrie, et prend en charge la localisation complète. Il a formé plusieurs versions de paramètres telles que 9 milliards, 13,9 milliards, 57 milliards et 100 milliards. et peut être déployé de manière flexible dans le Cloud, la périphérie et la fin sont des situations différentes

L'ensemble de données ScienceAI Question Answering (QA) joue un rôle essentiel dans la promotion de la recherche sur le traitement du langage naturel (NLP). Des ensembles de données d'assurance qualité de haute qualité peuvent non seulement être utilisés pour affiner les modèles, mais également évaluer efficacement les capacités des grands modèles linguistiques (LLM), en particulier la capacité à comprendre et à raisonner sur les connaissances scientifiques. Bien qu’il existe actuellement de nombreux ensembles de données scientifiques d’assurance qualité couvrant la médecine, la chimie, la biologie et d’autres domaines, ces ensembles de données présentent encore certaines lacunes. Premièrement, le formulaire de données est relativement simple, et la plupart sont des questions à choix multiples. Elles sont faciles à évaluer, mais limitent la plage de sélection des réponses du modèle et ne peuvent pas tester pleinement la capacité du modèle à répondre aux questions scientifiques. En revanche, les questions et réponses ouvertes

1. Introduction au contexte Tout d’abord, présentons l’historique du développement de la technologie Yunwen. Yunwen Technology Company... 2023 est la période où les grands modèles prédominent. De nombreuses entreprises pensent que l'importance des graphiques a été considérablement réduite après les grands modèles et que les systèmes d'information prédéfinis étudiés précédemment ne sont plus importants. Cependant, avec la promotion du RAG et la prévalence de la gouvernance des données, nous avons constaté qu'une gouvernance des données plus efficace et des données de haute qualité sont des conditions préalables importantes pour améliorer l'efficacité des grands modèles privatisés. Par conséquent, de plus en plus d'entreprises commencent à y prêter attention. au contenu lié à la construction des connaissances. Cela favorise également la construction et le traitement des connaissances à un niveau supérieur, où de nombreuses techniques et méthodes peuvent être explorées. On voit que l'émergence d'une nouvelle technologie ne détruit pas toutes les anciennes technologies, mais peut également intégrer des technologies nouvelles et anciennes.
