目錄
1、問題背景
2、實作方法
3、實驗效果
首頁 科技週邊 人工智慧 時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt

時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt

Mar 18, 2024 am 09:20 AM
prompt 模型 時間序列

今天我想分享一個最新的研究工作,這項研究來自康乃狄克大學,提出了一種將時間序列資料與自然語言處理(NLP)大模型在隱空間上對齊的方法,以提高時間序列預測的效果。此方法的關鍵在於利用隱空間提示(prompt)來增強時間序列預測的準確性。

時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt

論文標題:S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

下載位址:https://www .php.cn/link/3695d85c350d924e662ea2cd3b760d40

1、問題背景

大模型在時間序列上的應用越來越多,主要分為兩類:第一類使用各類時間序列資料訓練一個時間序列領域自己的大模型;第二類直接使用NLP領域訓練好的文本大模型應用到時間序列中。由於時間序列不同於圖像、文本,不同資料集的輸入格式不同、分佈不同,且存在distribution shift等問題,導致使用所有時間序列資料訓練統一的模型比較困難。因此,越來越多的工作開始嘗試如何直接使用NLP大模型解決時間序列相關問題。

本文也關注第二種解決時間序列問題的方法,也就是利用NLP大模型。目前的做法通常使用時間序列的描述作為提示,但並非所有時間序列資料集都包含這種資訊。此外,基於patch的時間序列資料處理方法也無法完全保留時間序列資料的所有資訊。

基於上述問題,這篇文章提出了一種新的建模方法,核心建模思路,一方面將時間序列通過tokenize處理後映射成embedding,另一方面將這些時間序列空間的表徵對齊到大模型中的word embedding。透過這種方式,讓時間序列的預測過程中,可以找到對齊的word embedding相關的資訊作為prompt,提升預測效果。

時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt圖片

2、實作方法

#下面從資料處理、隱空間對齊、模型細節等3個面向介紹一下這篇工作的實作方法。

資料處理:由於時間序列的distribution shift等問題,本文對輸入序列做了一步趨勢項季節項分解。每個分解後的時間序列,都單獨做標準化,然後分割成有重疊的patch。每一組patch對應趨勢項patch、季節項patch、殘差patch,將這3組patch拼接到一起,輸入到MLP中,得到每組patch的基礎embedding表徵。

隱空間對齊:這是本文中最核心的一步。 Prompt的設計對大模型的效果影響很大,而時間序列的prompt又難以設計。因此本文提出,將時間序列的patch表徵和大模型的word embedding在隱空間對齊,然後檢索出topK的word embedding,作為隱式的prompt。具體做法為,使用上一個步驟產生的patch embedding,和語言模型中的word embedding計算餘弦相似度,選擇topK的word embedding,再將這些word embedding作為prompt,拼接到時間序列patch embedding的前方。由於大模型word embedding大多,為了減少計算量,先對word embedding做了一步映射,映射到數量很少的聚類中心。

模型細節:在模型細節上,使用GPT2作為語言模型部分,除了position embedding和layer normalization部分的參數外,其餘的都凍結。優化目標除了MSE外,還引入patch embedding和檢索出的topK cluster embedding的相似度作為約束,要求二者之間的距離越小越好。最終的預測結果,也是

時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt圖片

3、實驗效果

文中比較了和一些時間序列大模型、iTransformer、 PatchTST等SOTA模型的效果,在大部分資料集的不同時間視窗的預測中都取得了比較好的效果提升。

時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt圖片

同時,文中也透過t-SNE視覺化分析了embedding,從圖中可以看出,時間序列的embedding在對齊之前並沒有明顯的類簇現象,而透過prompt產生的embedding有明顯的類簇變化,說明本文提出的方法有效的利用文本和時間序列的空間對齊,以及相應的prompt,提升時間序列表徵的品質。

時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt圖片

#

以上是時間序列預測 NLP大模型新作:為時序預測自動產生隱式Prompt的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1653
14
CakePHP 教程
1413
52
Laravel 教程
1306
25
PHP教程
1251
29
C# 教程
1224
24
全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 May 07, 2024 pm 04:13 PM

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 Apr 09, 2024 am 11:52 AM

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

Google狂喜:JAX性能超越Pytorch、TensorFlow!或成GPU推理訓練最快選擇 Google狂喜:JAX性能超越Pytorch、TensorFlow!或成GPU推理訓練最快選擇 Apr 01, 2024 pm 07:46 PM

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

用於時間序列機率預測的分位數迴歸 用於時間序列機率預測的分位數迴歸 May 07, 2024 pm 05:04 PM

不要改變原內容的意思,微調內容,重寫內容,不要續寫。 「分位數迴歸滿足此需求,提供具有量化機會的預測區間。它是一種統計技術,用於模擬預測變數與反應變數之間的關係,特別是當反應變數的條件分佈命令人感興趣時。 ⼀組迴歸變數X與被解釋變數Y的分位數之間線性關係的建模⽅法。現有的迴歸模型其實是研究被解釋變數與解釋變數之間關係的一種方法。他們關註解釋變數與被解釋變數之間的關

你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 Apr 18, 2024 pm 07:58 PM

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

替代MLP的KAN,被開源專案擴展到卷積了 替代MLP的KAN,被開源專案擴展到卷積了 Jun 01, 2024 pm 10:03 PM

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! 特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! May 06, 2024 pm 04:13 PM

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

DualBEV:大幅超越BEVFormer、BEVDet4D,開卷! DualBEV:大幅超越BEVFormer、BEVDet4D,開卷! Mar 21, 2024 pm 05:21 PM

這篇論文探討了在自動駕駛中,從不同視角(如透視圖和鳥瞰圖)準確檢測物體的問題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉換特徵,這一轉換是透過視覺轉換(VT)模組實施的。現有的方法大致分為兩種策略:2D到3D和3D到2D轉換。 2D到3D的方法透過預測深度機率來提升密集的2D特徵,但深度預測的固有不確定性,尤其是在遠處區域,可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵,並透過Transformer學習3D和2D特徵之間對應關係的注意力權重,這增加了計算和部署的

See all articles