ホームページ テクノロジー周辺機器 AI Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

Nov 05, 2023 pm 05:13 PM
ai

時系列予測において、Transformer は依存関係を記述し、マルチレベル表現を抽出する強力な機能を実証しました。ただし、一部の研究者は、Transformer ベースの予測子の有効性を疑問視しています。このような予測子は通常、同じタイムスタンプの複数の変数を区別できないチャネルに埋め込み、これらのタイムスタンプに焦点を当てて時間的な依存関係をキャプチャします。研究者らは、セマンティックな関係ではなく数値的な関係を考慮する単純な線形レイヤーが、パフォーマンスと効率の両方で複雑な Transformer よりも優れていることを発見しました。同時に、変数の独立性を確保し、相互情報を活用することの重要性が、最近の研究でますます注目されています。これらの研究では、多変量相関を明示的にモデル化し、正確な予測を実現します。ただし、共通の Transformer アーキテクチャを破壊することなくこの目標を達成することは依然として困難です。

Transformer ベースの予測子によって引き起こされる論争を考慮するとき、研究者は、Transformer のパフォーマンスが線形よりもさらに悪い理由について考えています。

最近、清華大学の新しい論文では、変圧器の性能は本質的なものではなく、変圧器の不適切な適用によって引き起こされるという別の観点が提案されています。スキーマを時系列データに変換します。

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

論文へのリンクは次のとおりです: https://arxiv.org/pdf/2310.06625.pdf

Transformer ベースの予測子の既存の構造は、多変量時系列予測には適していない可能性があります。図 2 の左側は、同じタイム ステップの点が異なる物理的意味を表していることを示していますが、測定結果には一貫性がありません。これらの点はトークンに埋め込まれており、多変量相関は無視されています。さらに、現実の世界では、多変量時点での局所的な受容野とタイムスタンプの不整合により、個々のタイムステップに有用な情報がラベル付けされることはほとんどありません。さらに、シーケンスのバリエーションはシーケンスの順序によって大きく影響されますが、時間次元でのバリアント アテンション メカニズムは完全には採用されていません。したがって、基本的なシーケンス表現をキャプチャし、多変量相関を記述する Transformer の機能が弱まり、さまざまな時系列データに対するその機能と一般化機能が制限されます。各時間ステップの多変数点を (時間) トークンに埋め込むことの不合理性について、研究者は時系列の逆の観点から開始し、各変数の時系列全体を独立して (変数) トークンに埋め込みました。局所の受容野を拡大するパッチングの極端な例。反転を通じて、埋め込まれたトークンはシーケンスのグローバル表現を集約します。これにより、より変数中心になり、複数変数の関連付けのためのアテンション メカニズムをより適切に利用できるようになります。同時に、フィードフォワード ネットワークは、ルックバック シーケンスによってエンコードされたさまざまな変数の一般化された表現を巧みに学習し、それらをデコードして将来のシーケンスを予測できます。

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場研究者らは、時系列予測において Transformer は無効ではないが、その使用は不適切であると指摘しました。この論文では、研究者らは Transformer の構造を再検討し、時系列予測の基本的な柱として iTransformer を推奨しました。各時系列を変数トークンとして埋め込み、多変数相関アテンション メカニズムを採用し、フィードフォワード ネットワークを使用してシーケンスをエンコードします。実験結果は、提案された iTransformer が実際の予測ベンチマーク図 1 で最先端のレベルに達し、Transformer ベースの予測器が直面する問題を予想外に解決することを示しています

# 要約すると、この記事の貢献には次の 3 つのポイントがあります:

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

研究者は Transformer のアーキテクチャについて考察しました。そして、時系列に関するネイティブ Transformer コンポーネントの機能がまだ十分に活用されていないことがわかりました。

この記事で提案する iTransformer は、独立した時系列をトークンとして扱い、セルフアテンションを通じて多変数相関を捕捉し、層正規化とフィードフォワード ネットワーク モジュールを使用してより良いシーケンスを学習します。時系列予測のための表現。
  • 実験を通じて、iTransformer は現実世界の予測ベンチマークで SOTA に到達します。研究者らは反転モジュールとアーキテクチャの選択を分析し、Transformer ベースの予測器の将来の改善の方向性を指摘しました。
  • iTransformer
  • 多変量時系列予測では、与えられた履歴観測:

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場


T タイム ステップと N 個の変数を使用して、研究者は将来の S タイム ステップを予測します。 Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場## #。便宜上、 はタイム ステップ t で同時に記録された多変量変数、Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場 は各変数の n でインデックス付けされた時系列全体として表されます。現実の世界では、モニターのシステム遅延と緩やかに編成されたデータセットにより、Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場 には本質的に同じタイムスタンプを持つ時点が含まれない可能性があることに注意してください。 Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

の要素は、物理的な測定値や統計分布において互いに異なる場合があり、変数 Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場 はこれらのデータを共有することがよくあります。 Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場


この記事で提案するアーキテクチャを備えた Transformer バリアントは iTransformer と呼ばれます。基本的に、Transformer バリアントにはこれ以上の特別な要件はありません。力のメカニズムは多変量相関モデリングに適している必要があることに注意してください。したがって、効果的なアテンション メカニズムのセットは、変数の数が増加したときに関連付けの複雑さを軽減するプラグインとして機能します。

iTransformer は 4 番目の図に示されており、埋め込み、投影、Transformer ブロックを含む、より単純な Transformer エンコーダ アーキテクチャを使用しています。

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

実験と結果

研究者らは、さまざまな時系列予測アプリケーションにおける iTransformer の包括的な評価を実施し、フレームワークの汎用性を確認し、責任の逆転の効果をさらに研究しました。特定の時系列ディメンションに対する Transformer コンポーネントの分析

研究者らは、ETT、気象、電力、交通データ セット、太陽データ セットなど、6 つの現実世界のデータ セットを実験に広範囲に含めました。およびPEMSデータセット。詳細なデータセット情報については、原文を参照してください

##書き換えられた内容は次のとおりです: 予測結果

# が表示されます表 1 に示すように、赤色が最良を示し、下線が最良を示します。 MSE/MAE が低いほど、書き換えられたコンテンツの予測結果はより正確になります。この記事で提案する iTransformer は SOTA パフォーマンスを実現します。ネイティブの Transformer コンポーネントは時間モデリングと多変量相関が可能で、提案された反転アーキテクチャは現実世界の時系列予測シナリオを効果的に解決できます。

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

#書き直す必要がある内容は次のとおりです: iTransformer の汎用性

##このフレームワークを Transformer とそのバリアントに適用して iTransformer を評価した研究者は、これらのバリアントが一般に、Reformer、Informer、Flowformer、FlashAttender などのセルフアテンション メカニズムの 2 次の複雑さに対処していることを発見しました。研究者らはまた、視点を反転するだけで、Transformer ベースの予測器のパフォーマンスが向上し、効率が向上し、目に見えない変数に一般化され、過去の観測データをより有効に活用できることも発見しました。

表 2 Transformerそして対応する iTransformers が評価されました。このフレームワークがさまざまなトランスフォーマーを改善し続けていることは注目に値します。全体として、トランスフォーマーは平均 38.9%、リフォーマーは平均 36.1%、インフォーマーは平均 28.5%、フローフォーマーは平均 16.8%、フラッシュフォーマーは平均 32.2% 向上しました。

もう 1 つの要因は、iTransformer が Transformer ベースの予測器で広く使用できることです。これは、iTransformer が変数次元のアテンション メカニズムの逆構造を採用し、線形複雑さによる効率的なアテンションを導入し、原因となる効率の問題を根本的に解決するためです。 6 つの変数。この問題は現実のアプリケーションでは一般的ですが、チャネルに依存しない場合はリソースを消費する可能性があります

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

仮説を検証するために、研究者は iTransformer の比較を使用しました。これは、共有トランスフォーマーがすべてのバリアントのパターンを学習するように強制する、チャネル独立という別の一般化戦略で作成されます。図 5 に示すように、チャネル独立 (CI-Transformers) の汎化誤差は大幅に増加する可能性がありますが、iTransformer の予測誤差の増加ははるかに小さいです。

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

アテンション ネットワークとフィードフォワード ネットワークの役割が逆転しているため、図 6 ではルックバック長が増加するにつれて Transformer と iTransformers のパフォーマンスを評価しています。これは、時間次元で MLP を活用する理論的根拠を検証します。つまり、トランスフォーマーは拡張されたルックバック ウィンドウの恩恵を受け、より正確な予測を実現できます。

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

#モデル解析

Transformer の合理性を検証するためにコンポーネント、研究 著者らは、コンポーネントの交換 (Replace) 実験やコンポーネントの除去 (w/o) 実験を含む、詳細なアブレーション実験を実施しました。表 3 に実験結果を示します。

Transformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場

#詳細については、元の記事を参照してください。

以上がTransformer Revisited: 逆変換がより効果的となり、現実世界の予測のための新しい SOTA が登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

ブートストラップリストのサイズを変更する方法は? ブートストラップリストのサイズを変更する方法は? Apr 07, 2025 am 10:45 AM

ブートストラップリストのサイズは、リスト自体ではなく、リストを含むコンテナのサイズに依存します。 BootstrapのグリッドシステムまたはFlexBoxを使用すると、コンテナのサイズを制御することで、リスト項目を間接的に変更します。

ブートストラップリストのネストを実装する方法は? ブートストラップリストのネストを実装する方法は? Apr 07, 2025 am 10:27 AM

ブートストラップのネストされたリストでは、スタイルを制御するためにブートストラップのグリッドシステムを使用する必要があります。まず、外層< ul>を使用します。および< li>リストを作成するには、内側のレイヤーリストを< div class =" row>に巻き付けます。 and< div class =" col-md-6">内側のレイヤーリストに、内側の層リストが行の幅の半分を占めることを指定します。このように、内側のリストは正しいものを持つことができます

vue.jsのストリングをオブジェクトに変換するためにどのような方法が使用されますか? vue.jsのストリングをオブジェクトに変換するためにどのような方法が使用されますか? Apr 07, 2025 pm 09:39 PM

vue.jsのオブジェクトに文字列を変換する場合、標準のjson文字列にはjson.parse()が推奨されます。非標準のJSON文字列の場合、文字列は正規表現を使用して処理し、フォーマットまたはデコードされたURLエンコードに従ってメソッドを削減できます。文字列形式に従って適切な方法を選択し、バグを避けるためにセキュリティとエンコードの問題に注意してください。

ブートストラップリストにアイコンを追加する方法は? ブートストラップリストにアイコンを追加する方法は? Apr 07, 2025 am 10:42 AM

アイコンをブートストラップリストに追加する方法:アイコンライブラリ(Font Awesomeなど)が提供するクラス名を使用して、アイコンをリストアイテム< li>に直接詰めます。 Bootstrapクラスを使用して、アイコンとテキストを調整します(たとえば、d-flex、Justify-content-wether、align-Items-center)。ブートストラップタグコンポーネント(バッジ)を使用して、数字またはステータスを表示します。アイコンの位置(Flex-Direction:Row-Reverse;)を調整し、スタイル(CSSスタイル)を制御します。一般的なエラー:アイコンは表示されません(違います

Bootstrapのグリッドシステムを表示する方法 Bootstrapのグリッドシステムを表示する方法 Apr 07, 2025 am 09:48 AM

Bootstrapのメッシュシステムは、コンテナ(コンテナ)、行(行)、およびcol(列)の3つのメインクラスで構成されるレスポンシブレイアウトを迅速に構築するためのルールです。デフォルトでは、12列のグリッドが提供され、各列の幅はCol-MD-などの補助クラスを通じて調整でき、それにより、さまざまな画面サイズのレイアウト最適化を実現できます。オフセットクラスとネストされたメッシュを使用することにより、レイアウトの柔軟性を拡張できます。グリッドシステムを使用する場合は、各要素が正しいネスト構造を持っていることを確認し、パフォーマンスの最適化を検討してページの読み込み速度を改善します。詳細な理解と実践によってのみ、ブートストラップグリッドシステムを習熟させることができます。

ブートストラップ5のリストスタイルでどのような変更が加えられましたか? ブートストラップ5のリストスタイルでどのような変更が加えられましたか? Apr 07, 2025 am 11:09 AM

Bootstrap 5リストスタイルの変更は、主に詳細の最適化とセマンティック改善が原因です。これには、以下を含みます。リストスタイルはセマンティクスを強調し、アクセシビリティと保守性を向上させます。

VUEでエクスポートデフォルトによってエクスポートされたコンポーネントを登録する方法 VUEでエクスポートデフォルトによってエクスポートされたコンポーネントを登録する方法 Apr 07, 2025 pm 06:24 PM

質問:エクスポートデフォルトを通じてエクスポートされるVUEコンポーネントを登録する方法は?回答:3つの登録方法があります。グローバル登録:vue.component()メソッドを使用して、グローバルコンポーネントとして登録します。ローカル登録:現在のコンポーネントとそのサブコンポーネントでのみ利用可能なコンポーネントオプションに登録します。動的登録:vue.component()メソッドを使用して、コンポーネントが読み込まれた後に登録します。

ブートストラップリストは垂直にどのように配置されますか? ブートストラップリストは垂直にどのように配置されますか? Apr 07, 2025 am 11:21 AM

Bootstrap自体は、直接的な垂直リスト機能を提供せず、メカニズムを使用して巧妙に実装する必要があります。Flexbox:「D-Flex Flex-Column」クラスをリストの親コンテナに追加して、リストアイテムを垂直に配置します。ラスターシステムと組み合わせる:複雑なコンテンツを含むリストアイテムの列幅を設定し、レイアウトをより細かく制御します。ブートストラップのラスターコア「行」および「col」クラスを使用して、フローティングまたはポジショニング方法の使用を避けるように注意してください。

See all articles