目次
1. 大規模モデルの時系列予測手法
この方法は、大規模モデルの時系列予測作業の最も初期のバッチです
4. 概要
ホームページ テクノロジー周辺機器 AI 大規模モデルの波にさらされる時系列予測に関する記事

大規模モデルの波にさらされる時系列予測に関する記事

Nov 06, 2023 am 08:13 AM
分野 モデル nlp

今日は、時系列予測における大規模モデルの応用についてお話します。 NLP の分野における大規模モデルの開発に伴い、時系列予測の分野に大規模モデルを適用しようとする試みがますます増えています。この記事では、大規模モデルを時系列予測に適用する主な方法を紹介し、大規模モデル時代の時系列予測の研究方法を誰もが理解できるように、最近の関連研究をいくつかまとめます。

1. 大規模モデルの時系列予測手法

過去 3 か月間で、大規模モデルの時系列予測作業が数多く登場しましたが、それらは基本的に 2 つのタイプに分類できます。

内容を書き直しました: 1 つの方法は、時系列予測に NLP の大規模モデルを直接使用することです。この手法では、時系列予測に GPT や Llama などの大規模 NLP モデルを使用しますが、時系列データをいかに大規模モデルの入力に適したデータに変換するかが鍵となります。時系列学習の分野にある大型モデルです。このタイプの方法では、多数の時系列データ セットを使用して、時系列フィールドで GPT や Llama などの大規模なモデルを共同トレーニングし、それをダウンストリームの時系列タスクに使用します。

上記の 2 種類の方法を考慮して、関連する古典的な大規模モデルの時系列表現作品をいくつか紹介します。

2. NLP の大規模モデルを時系列に適用する

この方法は、大規模モデルの時系列予測作業の最も初期のバッチです

ニューヨーク大学とカーネギーメロンの論文では、「大学が共同出版した「ゼロサンプル時系列予測子としての大規模言語モデル」では、時系列のデジタル表現は、GPT などの大規模モデルで認識できる入力に変換するためにトークン化されるように設計されています。そしてラマ。大規模モデルが異なれば数値のトークン化方法も異なるため、異なるモデルを使用する場合はパーソナライゼーションが必要になります。たとえば、GPT は数値の文字列を異なるサブシーケンスに分割します。これはモデルの学習に影響します。したがって、この記事では、GPT の入力形式に対応するために、数値の間にスペースを強制的に挿入します。最近リリースされた LLaMa などの大型モデルの場合は、個別の番号が区切られていることが多いため、スペースを追加する必要はありません。同時に、時系列値が大きすぎるために入力シーケンスが長すぎることを避けるために、この記事ではいくつかのスケーリング操作を実行して、元の時系列の値をより適切な範囲に制限します。

Picture

大規模モデルの波にさらされる時系列予測に関する記事上記で処理されたデジタル文字列が大規模モデルに入力され、大規模モデルが自己回帰的に次の数値を予測し、最終的に予測された数値を次の数値に変換できるようになります。対応する時系列値。下の図は概略図を示しています. 言語モデルの条件付き確率を数値のモデル化に使用することは, 前の数値に基づいて次の桁が各数値である確率を予測することです. これは反復的な階層的ソフトマックス構造であり, 表現能力を加えたものです大規模モデルの は、さまざまな分布タイプに適応できるため、このように大規模モデルを時系列予測に使用できます。同時に、モデルによって予測された次の数値の確率を不確実性の予測に変換して、時系列の不確実性の推定を実現することもできます。

大規模モデルの波にさらされる時系列予測に関する記事「TIME-LLM: 大規模言語モデルの再プログラミングによる時系列予測」というタイトルの別の記事で、著者は、次のような再プログラミング手法を提案しました。時系列をテキストに変換して、時系列とテキストの 2 つの形式の間の位置合わせを実現します。

具体的な実装方法は、まず時系列を複数のパッチに分割し、各パッチが MLP を通じて埋め込みを取得することです。次に、パッチの埋め込みが言語モデル内の単語ベクトルにマッピングされ、時系列セグメントとテキストのマッピングとクロスモーダル アライメントが実現されます。この記事では、複数の単語をプロトタイプにマッピングして、一定期間にわたる一連のパッチのセマンティクスを表すテキスト プロトタイプのアイデアを提案しています。たとえば、以下の例では、単語「shot」と「up」が赤い三角形にマッピングされています。これは、時系列の短期間の上昇サブシーケンスのパッチに対応します。

写真

大規模モデルの波にさらされる時系列予測に関する記事3. 時系列大規模モデル

もう一つの研究方向は、時系列分野における大規模モデル構築法を参考にすることです。自然言語処理: 時系列予測のための大規模なモデルを直接構築する

Lag-Llama: 時系列予測の基礎モデルに向けてこの記事では、時系列で Llama モデルを構築します。コアには、機能レベルとモデル構造レベルの設計が含まれます。

特徴の点では、この記事では、主に元の時系列のさまざまな時間窓の履歴シーケンス統計値であるマルチスケールおよびマルチタイプのラグ特徴を抽出します。これらのシーケンスは追加の特徴としてモデルに入力されます。モデル構造の観点から見ると、NLP における LlaMA 構造の中核は Transformer であり、正規化方法と位置エンコード部分が最適化されています。最後の出力層は、複数のヘッドを使用して確率分布のパラメーターを適合させます。たとえば、ガウス分布は平均分散に適合します。この記事では、スチューデント t 分布が使用され、自由度、平均、スケールの 3 つの対応するパラメーターが使用されます。を出力し、最終的に各時刻を求め、その点の予測確率分布結果を求めます。

大規模モデルの波にさらされる時系列予測に関する記事写真

もう 1 つの同様の成果は、時系列フィールドで GPT モデルを構築する TimeGPT-1 です。データ トレーニングの観点から、TimeGPT はさまざまな種類のドメイン データを含む、合計 100 億のデータ サンプル ポイントに達する大量の時系列データを使用します。トレーニング中は、トレーニングの堅牢性を向上させるために、より大きなバッチ サイズとより小さな学習率が使用されます。モデルの主な構造は古典的な GPT モデルです

大規模モデルの波にさらされる時系列予測に関する記事写真

次の実験結果からもわかるように、一部のゼロショット学習では時系列で事前トレーニングされた大規模モデルは、基本モデルと比較して大幅な改善を達成しました。

大規模モデルの波にさらされる時系列予測に関する記事写真

4. 概要

この記事では、直接モデルを含む大規模モデルの波の下での時系列予測の研究アイデアを紹介します。 NLP 大規模モデルを使用して、時系列予測を行い、時系列フィールドで大規模モデルをトレーニングします。どの方法が使用されるとしても、それは大規模モデル時系列の可能性を示しており、詳細な研究に値する方向性です。

以上が大規模モデルの波にさらされる時系列予測に関する記事の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム Apr 26, 2024 am 11:37 AM

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

セルフメディアで最も収益性の高い 5 つの分野は何ですか? 2024年のDouyinのサポートの方向性は何ですか? セルフメディアで最も収益性の高い 5 つの分野は何ですか? 2024年のDouyinのサポートの方向性は何ですか? Mar 22, 2024 am 10:11 AM

インターネットの急速な発展に伴い、セルフメディア業界はますます多くの人々の注目を集めるようになりました。この業界では、幅広い市場の見通しと収益性により、多くの注目を集めている分野があります。この記事では、セルフメディアの最も収益性の高い 5 つの分野を明らかにするとともに、セルフメディアの発展の機会をよりよく把握できるよう、2024 年の Douyin のサポートの方向性について説明します。 1. セルフメディアで最も収益性の高い 5 つの分野は何ですか?オンライン教育の台頭により、教育とトレーニングの分野の人気が高まっています。人々は、学問的なコースだけでなく、スキルトレーニングや職場での昇進など、知識とスキルの習得に積極的に投資します。セルフメディアクリエイターは、学生が学習にお金を払うよう引き付ける高品質の教育コンテンツを作成することで、収益を得ることができます。この傾向は人々が生涯学習に関心を持っていることを示しています

See all articles