NLP の大規模モデルを時系列に適用するにはどうすればよいですか? 5つのカテゴリーに分けた方法をまとめました！

最近、カリフォルニア大学は、自然言語処理の分野で事前トレーニングされた大規模言語モデルを時系列予測に適用する方法を探るレビュー記事を発表しました。この記事では、時系列分野における 5 つの異なる NLP 大規模モデルの適用について要約します。次に、このレビューで取り上げた 5 つの方法を簡単に紹介します。

図

論文タイトル: 時系列のための大規模言語モデル: 調査

ダウンロード アドレス: https://arxiv.org /pdf/2402.01801.pdf

図

1. プロンプトベースのメソッド

プロンプトメソッドを直接使用することで、モデルはターゲットを絞ることができます。予測出力の時系列データ。以前のプロンプト メソッドの基本的な考え方は、プロンプト テキストを事前トレーニングし、それを時系列データで満たし、モデルに予測結果を生成させることでした。たとえば、時系列タスクを説明するテキストを作成する場合、時系列データを入力し、モデルに予測結果を直接出力させます。

写真

時系列を処理する場合、数値はテキストの一部としてみなされることが多く、数値のトークン化の問題も大きな注目を集めています。いくつかの方法では、数値をより明確に区別し、辞書内の数値間の不合理な区別を避けるために、数値の間にスペースを特別に追加します。

2. 離散化

このタイプのメソッドは、時系列を離散化し、連続値を離散 ID 結果に変換して、大規模な NLP モデルの入力形式に適応させます。たとえば、1 つのアプローチは、ベクトル量子化変分オートエンコーダー (VQ-VAE) テクノロジーを利用して、時系列を離散表現にマッピングすることです。 VQ-VAE は VAE に基づいたオートエンコーダ構造であり、VAE はエンコーダを通じて元の入力を表現ベクトルにマッピングし、デコーダを通じて元のデータを復元します。 VQ-VAE は、中間生成された表現ベクトルが確実に離散化されるようにします。この離散化表現ベクトルに基づいて辞書が構築され、時系列データの離散化マッピングが実現されます。もう 1 つの方法は、K 平均法による離散化に基づいており、K 平均法によって生成された重心を使用して元の時系列を離散化します。さらに、一部の作業では、時系列もテキストに直接変換されます。たとえば、一部の金融シナリオでは、毎日の価格上昇、価格下落、その他の情報が、大規模な NLP モデルへの入力として、対応する文字記号に直接変換されます。

図

3. 時系列テキストの配置

このタイプの方法は、マルチモーダル フィールドの配置テクノロジに依存しています。時間を結合する シーケンスの表現がテキスト空間に合わせて配置されるため、時系列データを大規模な NLP モデルに直接入力するという目標が達成されます。

このタイプの方法では、いくつかのマルチモーダル位置合わせ方法が広く使用されています。最も代表的なのは対比学習によるマルチモーダルアライメントであり、CLIPと同様に、時系列エンコーダと大規模モデルをそれぞれ時系列とテキストの表現ベクトルとして入力し、対比学習により距離を縮める手法である。ポジティブサンプルペア間の潜在空間における時系列とテキストデータの表現の位置合わせ。

もう 1 つの方法は、NLP 大規模モデルをバックボーンとして使用し、これに基づいて追加のネットワーク適応時系列データを導入する、時系列データに基づいた微調整です。その中でも、LoRA などの効率的なクロスモーダル微調整手法は比較的一般的であり、バックボーンのほとんどのパラメータを凍結して少数のパラメータのみを微調整するか、微調整用の少数のアダプタ パラメータを導入してマルチモーダル アライメントを実現します。

写真

4. 視覚情報の導入

この方法は比較的まれで、通常は時系列と視覚情報の間の接続を確立します。次に、画像とテキストを使用して詳細に研究されたマルチモーダル機能が導入され、下流のタスクに効果的な特徴が抽出されます。たとえば、ImageBind は時系列型データを含む 6 つのモダリティのデータを均一に整列させ、大規模なマルチモーダル モデルの統合を実現します。金融分野の一部のモデルは、株価をチャート データに変換し、CLIP を使用して画像とテキストを配置し、下流の時系列タスク用のチャート関連機能を生成します。

5. 大規模モデル ツール

このタイプの方法は、NLP 大規模モデルを改善したり、大規模モデルに適応させるために時系列データ形式を変換したりするのではなく、NLP 大規模モデルを解決のためのツールとして直接扱います。時系列の問題。たとえば、大規模モデルで時系列予測を解決するコードを生成し、それを時系列予測に適用したり、大規模モデルでオープン ソース API を呼び出して時系列問題を解決したりできます。もちろん、この方法は実用的なアプリケーションに偏っています。

最後に、この記事では、さまざまな手法の代表的な研究と代表的なデータセットを要約します:

写真

写真＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

以上がNLP の大規模モデルを時系列に適用するにはどうすればよいですか? 5つのカテゴリーに分けた方法をまとめました！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。