MIT の最新傑作: GPT-3.5 を使用して時系列異常検出の問題を解決する

今日は、MIT が先週公開した記事を紹介します。GPT-3.5-turbo を使用して時系列異常検出の問題を解決し、時系列異常検出における LLM の有効性を最初に検証しました。プロセス全体に微調整はなく、GPT-3.5-turbo は異常検出に直接使用されます。この記事の核心は、時系列を GPT-3.5-turbo が認識できる入力に変換する方法とその設計方法です。 LLM が異常検出タスクを解決できるようにするためのプロンプトまたはパイプライン。この作品について詳しく紹介していきます。

写真

論文タイトル: 大規模な言語モデルは時系列のゼロショット異常検出器になることができますか?

ダウンロードアドレス: https://arxiv.org/pdf/2405.14755v1

1 全体の紹介

。 MIT のこの記事では、時系列異常検出に LLM (GPT-3.5-turbo、MISTRAL など) を使用しています。核心はパイプラインの設計にあり、主に 2 つの部分に分かれています。

時系列データ処理: 離散化やその他の方法を通じて、元の時系列を LLM で理解可能な入力に変換します。

LM ベースの異常検出パイプラインは、プロンプトに基づいて 2 つの異常検出パイプラインを設計しました。1 つはプロンプトに基づいています。もう 1 つは、大規模モデルが異常箇所のインデックスを提供する予測ベースの方法であり、大規模モデルが時系列予測を実行し、予測値との差に基づいて異常の位置を特定します。実価。

写真

2. 時系列データ処理

時系列を LLM 入力に適合させるために、この記事では時系列を数値に変換し、数値を LLM の入力として使用します。ここでの核心は、できるだけ多くの元の時系列情報を最短の長さで保持する方法です。

まず、負の値のインデックスがトークンを占有するのを防ぐために、元の時系列から最小値を一律に減算します。同時に、値の小数点は一律に後退され、各値は固定桁数（小数点以下 3 桁など）に保持されます。 GPT には入力の最大長に制限があるため、この論文では動的ウィンドウ戦略を採用して、元のシーケンスを重複するサブシーケンスに分割し、それらを大規模モデルに入力します。

LLM トークナイザーが異なるため、数値が完全に分離されるのを防ぐために、テキスト内の各数値の中央にスペースが追加され、強制的に区別されます。その後の効果の検証でも、スペースを追加しない方法よりもスペースを追加する方法の方が優れていることがわかりました。次の例は処理結果です:

Pictures

異なる大規模モデルに異なるデータ処理方法を使用すると、以下の図に示すように異なる結果が生成されます。

写真

3. 異常検出パイプライン

この記事では、LLM に基づく 2 つの異常検出パイプラインを提案しています。1 つ目は、異常検出の問題をプロンプトに変換し、大規模なモデルを入力して、モデルが直接出力できるようにするものです。もう 1 つは DETECTOR です。これにより、大規模なモデルが時系列予測を実行し、予測結果と実際の値との差から異常箇所を特定できます。

写真

プロンプター: 次の表は、最も単純なプロンプトから始めて、LLM によって得られる結果に常に問題が見つかり、5 つのバージョンの反復後にプロンプ​​トを改善しました。 、最後のものがプロンプトで形成されました。このプロンプトを使用すると、モデルは異常箇所のインデックス情報を直接出力できます。

写真

検出器: これまで、時系列予測に大規模なモデルを使用する多くの研究が行われてきました。この記事の処理された時系列により、大規模なモデルが予測結果を生成できるようになります。異なるウィンドウで生成された複数の結果の中央値を取得し、予測結果と実際の結果の差を異常検出の基礎として使用します。

4. 実験結果

実験の比較により、Transformer に基づく異常検出モデルにより、大規模モデルに基づく異常検出手法の効果が 12.5% 向上することがわかりました。 AER (AER: Auto-Encoder with Regression for Time Series Anomaly Detection) は、深層学習に基づく最も効果的な異常検出手法であり、LLM ベースの手法よりも 30% 優れています。また、DIRECTOR に基づくパイプライン方式は、PROMTER に基づく方式よりも優れています。

写真

さらに、この記事では、以下に示すように、大規模モデルの異常検出プロセスも視覚化しています。

写真

以上がMIT の最新傑作: GPT-3.5 を使用して時系列異常検出の問題を解決するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。