Heute möchte ich eine aktuelle Forschungsarbeit der University of Connecticut vorstellen, die eine Methode zum Abgleichen von Zeitreihendaten mit großen NLP-Modellen (Natural Language Processing) im latenten Raum vorschlägt, um die Zeitreihenprognose zu verbessern. Der Schlüssel zu dieser Methode besteht darin, latente räumliche Hinweise (Eingabeaufforderungen) zu verwenden, um die Genauigkeit von Zeitreihenvorhersagen zu verbessern.
Papiertitel: S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting
Download-Adresse: https://www.php.cn/link/3695d85c350d924e662ea2cd3b760d40
1. Problemhintergrund
Große Modelle werden zunehmend in Zeitreihen verwendet und sind hauptsächlich in zwei Kategorien unterteilt: Die erste Kategorie verwendet verschiedene Zeitreihendaten, um ein eigenes großes Modell im Zeitreihenfeld zu trainieren, und die zweite Kategorie verwendet direkt Texte, die im NLP-Feld groß trainiert wurden Modelle werden auf Zeitreihen angewendet. Da sich Zeitreihen von Bildern und Texten unterscheiden, haben unterschiedliche Datensätze unterschiedliche Eingabeformate und Verteilungen und es gibt Probleme wie Verteilungsverschiebungen, die es schwierig machen, ein einheitliches Modell unter Verwendung aller Zeitreihendaten zu trainieren. Daher wird immer mehr damit begonnen, zu versuchen, große NLP-Modelle direkt zu verwenden, um zeitreihenbezogene Probleme zu lösen.
Dieser Artikel konzentriert sich auch auf die zweite Methode zur Lösung von Zeitreihenproblemen, nämlich die Verwendung großer NLP-Modelle. In der aktuellen Praxis wird häufig eine Beschreibung der Zeitreihe als Anhaltspunkt verwendet, aber nicht alle Zeitreihendatensätze enthalten diese Informationen. Darüber hinaus kann die patchbasierte Zeitreihendatenverarbeitungsmethode nicht alle Informationen der Zeitreihendaten vollständig beibehalten.
Basierend auf den oben genannten Problemen schlägt dieser Artikel eine neue Modellierungsmethode vor. Die Kernidee der Modellierung besteht einerseits darin, die Zeitreihen nach der Tokenisierungsverarbeitung in die Einbettung abzubilden, und andererseits in der Darstellung dieser Zeitreihenräume Ausgerichtet auf eine große Einbettung des Wortes in das Modell. Auf diese Weise können während des Zeitreihenvorhersageprozesses die Informationen zur ausgerichteten Worteinbettung als Aufforderung zur Verbesserung des Vorhersageeffekts gefunden werden.
Bilder
2. Implementierungsmethode
Im Folgenden wird die Implementierungsmethode dieser Arbeit unter drei Gesichtspunkten vorgestellt: Datenverarbeitung, Latentraumausrichtung und Modelldetails.
Datenverarbeitung: Aufgrund von Problemen wie der Verteilungsverschiebung von Zeitreihen führt dieser Artikel eine einstufige Zerlegung von Trendelementen und Saisonelementen in der Eingabereihe durch. Jede zerlegte Zeitreihe wird separat standardisiert und dann in überlappende Patches unterteilt. Jeder Patch-Satz entspricht dem Trend-Term-Patch, dem Saison-Term-Patch und dem Rest-Patch. Diese drei Patches-Sets werden zusammengefügt und in das MLP eingegeben, um die grundlegende Einbettungsdarstellung jedes Patch-Sets zu erhalten.
Latentraumausrichtung: Dies ist der Kernschritt in diesem Artikel. Das Design von Eingabeaufforderungen hat großen Einfluss auf die Leistung großer Modelle, und Zeitreihen-Eingabeaufforderungen sind schwierig zu entwerfen. Daher wird in diesem Artikel vorgeschlagen, die Patch-Darstellung der Zeitreihe an der Worteinbettung des großen Modells im latenten Raum auszurichten und dann die topK-Worteinbettungen als implizite Eingabeaufforderungen abzurufen. Die spezifische Methode besteht darin, die im vorherigen Schritt generierte Patch-Einbettung zu verwenden, um die Kosinus-Ähnlichkeit mit der Worteinbettung im Sprachmodell zu berechnen, die topK-Worteinbettungen auszuwählen und diese Worteinbettungen dann als Eingabeaufforderungen zu verwenden, um sie an die Vorderseite des zu verbinden Zeitreihen-Patch-Einbettungen. Da es in großen Modellen viele Worteinbettungen gibt, ordnen wir die Worteinbettungen zunächst einer kleinen Anzahl von Clusterzentren zu, um den Rechenaufwand zu reduzieren.
Modelldetails: In Bezug auf die Modelldetails wird GPT2 als Sprachmodellteil verwendet, mit Ausnahme der Parameter der Positionseinbettungs- und Ebenennormalisierungsteile, der Rest ist eingefroren. Zusätzlich zu MSE führt das Optimierungsziel auch die Ähnlichkeit zwischen der Patch-Einbettung und der abgerufenen TopK-Cluster-Einbettung als Einschränkung ein, was erfordert, dass der Abstand zwischen den beiden so klein wie möglich ist. Die endgültigen Vorhersageergebnisse sind ebenfalls
Bilder
3. Experimentelle Ergebnisse
Der Artikel vergleicht die Auswirkungen einiger großer Zeitreihenmodelle, iTransformer, PatchTST und anderer SOTA-Modelle sowie die Vorhersagen der meisten Daten in verschiedenen Zeitfenstern Sätze Beide haben relativ gute Ergebnisse erzielt.
Bild
Gleichzeitig analysiert der Artikel auch visuell die Einbettung durch t-SNE. Wie aus der Abbildung ersichtlich ist, weist die Einbettung der Zeitreihe vor der Ausrichtung kein offensichtliches Clustering-Phänomen auf Die offensichtlichen Änderungen in den Clustern weisen darauf hin, dass die in diesem Artikel vorgeschlagene Methode die räumliche Ausrichtung von Text und Zeitreihen sowie die entsprechenden Eingabeaufforderungen effektiv nutzt, um die Qualität der Zeitreihendarstellung zu verbessern.
Bilder
Das obige ist der detaillierte Inhalt von. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1663
14
1420
52
1313
25
1266
29
1237
24
Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt
KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao
Apr 09, 2024 am 11:52 AM
KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.
Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden
Apr 01, 2024 pm 07:46 PM
Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus
Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend
Quantilregression für probabilistische Zeitreihenprognosen
May 07, 2024 pm 05:04 PM
Ändern Sie nicht die Bedeutung des ursprünglichen Inhalts, optimieren Sie den Inhalt nicht, schreiben Sie den Inhalt neu und fahren Sie nicht fort. „Die Quantilregression erfüllt diesen Bedarf, indem sie Vorhersageintervalle mit quantifizierten Chancen bereitstellt. Dabei handelt es sich um eine statistische Technik zur Modellierung der Beziehung zwischen einer Prädiktorvariablen und einer Antwortvariablen, insbesondere wenn die bedingte Verteilung der Antwortvariablen von Interesse ist. Im Gegensatz zur herkömmlichen Regression Methoden: Die Quantilregression konzentriert sich auf die Schätzung der bedingten Größe der Antwortvariablen und nicht auf den bedingten Mittelwert Quantile der erklärten Variablen Y. Das bestehende Regressionsmodell ist eigentlich eine Methode zur Untersuchung der Beziehung zwischen der erklärten Variablen und der erklärenden Variablen. Sie konzentrieren sich auf die Beziehung zwischen erklärenden Variablen und erklärten Variablen
KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert
Jun 01, 2024 pm 10:03 PM
Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN
Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen!
May 06, 2024 pm 04:13 PM
Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil
DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch!
Mar 21, 2024 pm 05:21 PM
In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.
