深層学習モデルの予測品質を向上させる秘密兵器 - コンテキスト認識データ

翻訳者 | Zhu Xianzhong

レビューアー | Sun Shujuan

この記事では、深層学習モデルの入力データを最適化する方法を共有したいと思います。データ サイエンティストおよびデータ エンジニアとして、私はこのテクニックを自分の仕事にうまく適用してきました。いくつかの具体的な実際の開発ケースを通じて、コンテキスト情報を使用してモデル入力データを強化する方法を学びます。これは、より堅牢で正確な深層学習モデルを設計するのに役立ちます。

深層学習モデルは、コンテキスト情報の統合に優れているため、非常に強力です。元のデータの次元にいくつかのコンテキストを追加することで、ニューラル ネットワークのパフォーマンスを向上させることができます。これは、賢いデータエンジニアリングによって実現できます。

新しい予測深層学習アルゴリズムを開発する場合、特定のユースケースに完全に適したモデル アーキテクチャを選択できます。入力データと実際の予測タスクに応じて、多くの方法を考えたことがあるかもしれません。画像を分類する予定がある場合は、畳み込みニューラル ネットワークを選択する可能性が高く、時系列を予測したりテキストを分析したりする場合は、LSTM ネットワークを選択する可能性があります。有望な選択肢になるかもしれない。多くの場合、正しいモデル アーキテクチャに関する決定は、主にモデルに流入するデータの種類によって決まります。

その結果、正しい入力データ構造を見つける (つまり、モデルの入力層を定義する) ことが、モデル設計における最も重要なステップの 1 つになりました。私は通常、他の何よりも入力データの整形に多くの開発時間を費やします。明確にしておきますが、特定の生データ構造を扱う必要はなく、適切なモデルを見つけるだけです。ニューラル ネットワークが内部で特徴エンジニアリングと特徴選択を処理できる (「エンドツーエンド モデリング」) という機能は、入力データの構造の最適化を免除するものではありません。モデルがデータから最大限の意味を引き出し、最も情報に基づいた意思決定 (つまり、最も正確な予測) を行えるような方法でデータを提供する必要があります。ここでの「秘密」の要素はコンテキスト情報です。つまり、生データを可能な限り多くのコンテキストで強化する必要があります。

コンテキストとは何ですか?

それでは、上記の「コンテキスト」とは具体的に何を意味するのでしょうか?例を挙げてみましょう。 Mary はデータ サイエンティストであり、飲料小売会社の売上予測システムを開発するという新しい仕事を始めています。つまり、彼女のタスクは次のとおりです。特定の店舗と特定の製品 (レモネード、オレンジ ジュース、ビールなど) が与えられた場合、彼女のモデルは特定の店舗でのこの製品の将来の売上を予測できる必要があります。予測は、数百の異なる店舗で提供される数千の異なる製品に適用されます。これまでのところ、システムは正常に動作しています。 Mary の最初の日は営業部門で過ごしました。そこでは、経験豊かな営業会計士である Peters によって手作業ではありましたが、予測作業がすでに行われていました。彼女の目標は、分野の専門家が特定の製品に対する将来の需要をどのような基準で判断しているのかを理解することです。 Mary は優れたデータ サイエンティストとして、どのデータがモデルにとってより価値があるかを定義する際に Peters の長年の経験が非常に役立つと期待しています。それを知るために、メアリーはピーターズに 2 つの質問をしました。

最初の質問: 「来月ベルリンの店舗で販売する特定のブランドのレモネードのボトル数を計算するために、どのようなデータを分析しましたか?そのデータをどのように解釈しましたか?」

Peters は次のように答えました。「時間が経つにつれて、私たちはベルリンでレモネードを販売する第一歩を踏み出しました。」次に、彼は自分の戦略を説明するために次のグラフを描きました。

上のグラフでは、7 つのピークから始まる連続的な曲線があることがわかります。 4 月または 8 月 (ベルリン夏時間) に発生します。夏は気温が高くなるとおやつを食べたくなるので、商品の売り上げが伸びるのは非常に直感的です。より短い時間スケール (約 1 か月) では、おそらく予測不可能なイベント (ランダム ノイズ) が原因で、売上が約 10 アイテムの範囲内で変動していることがわかります。

Peters 氏はさらに次のように続けました。「夏には売上が増加し、冬には売上が減少するという繰り返しのパターンを見ると、将来も同様のことが起こる可能性が高いと思います。したがって、私はそれに基づいて見積もりを立てています。可能性があります。販売」それは合理的に聞こえます。

ピーターズは、2 つのデータ ポイントの距離が時間差によって定義される、時間的なコンテキストで販売データを解釈します。データが時系列順に並んでいない場合、解釈が困難になります。たとえば、ヒストグラムの売上分布のみを確認すると、時間的なコンテキストが失われ、将来の売上の最良の推定値は、すべての値の中央値などの集計値になります。

データが特定の方法で並べ替えられると、コンテキストが表示されます。

言うまでもなく、データベースからの「自由な」コンテキストを保持するには、販売予測モデルに過去の販売データを正しい時系列で入力する必要があります。深層学習モデルは、私たちの脳 (この場合はもちろんピーターズの脳) と同様に、コンテキスト情報の統合に非常に優れているため、非常に強力です。

なぜディープラーニングが画像分類や画像オブジェクト検出に非常に効果的であるのか疑問に思ったことはありますか?なぜなら、通常の画像にはすでに多くの「自然な」コンテキストが存在するからです。画像は基本的に光強度のデータ ポイントであり、2 つの背景次元、つまり x 方向の空間距離と y 方向の空間間隔に従って配置されます。そして、アニメーション形式 (画像の時間シーケンス) としての映画は、3 番目の文脈上の次元として時間を追加します。

コンテキストは予測に非常に有益であるため、コンテキスト ディメンションをさらに追加することで、これらのディメンションが元のデータにすでに含まれている場合でも、モデルのパフォーマンスを向上させることができます。次に説明するように、私たちはいくつかの賢いデータ エンジニアリング手法を通じてこれを実現しました。

モデルがデータから最大限の意味を汲み取り、最も情報に基づいた意思決定を行えるような方法でデータを提供する必要があります。私は通常、他の何よりも入力データの整形に多くの開発時間を費やします。

コンテキストリッチなデータの設計

Mary と Peters の議論に戻りましょう。 Mary は、ほとんどの場合、実際のデータは上のグラフほど良くないことを知っていたため、次のようにグラフを少し変更しました。

メアリーが尋ねた 2 番目の質問は次のとおりでした。「最後の販売データ ポイントが通常のノイズ レベルを超えていたらどうしますか? これは実際のシナリオである可能性があります。製品はマーケティング キャンペーンを成功させているのかもしれません。おそらく、レシピが変更され、今では「味が良くなる。このような場合、効果は長期にわたって持続し、将来の売上も同じ高水準を維持するだろう。あるいは、偶然の出来事による異常である可能性もある。例えば、学校の授業でベルリンを訪れていた人が、たまたまそこに足を踏み入れた」店と子供たち全員がこのレモネード ブランドのボトルを購入しました。この場合、売上の伸びは安定しておらず、ノイズ データとしか考えられません。この場合、これが本当の売上になるかどうかをどのように判断しますか?ピーターズが答える前に頭をかいているのがわかります。「この場合、私はベルリンに似た店舗での売上を調べています。たとえば、ハンブルクとミュンヘンの店舗です。これらの店舗は同等です。」 「なぜなら、それらの店舗はドイツの主要都市にもあるからです。地方の店舗は考えていません。そこには、異なる好みや好みを持つ異なる顧客がいると予想されるからです。」

彼は、考えられる 2 つのシナリオに他の店舗の売上曲線を追加しました。 。 「ベルリンで売上が増加しているのを見たら、それは騒音だと思います。しかし、ハンブルクとミュンヘンでレモネードの売上が増加しているのを見たら、それが安定化効果であることを願っています。」

したがって、いくつかのかなり困難な状況では、ピーターズはより賢明な決定を下すためにより多くのデータを考慮します。彼は、さまざまな店舗のコンテキストにデータの新しい次元を追加します。前述したように、データが特定の方法で順序付けされると、コンテキストが発生します。ストア コンテキストを作成するには、まず距離測定を定義して、それに応じてさまざまなストアからのデータを順序付ける必要があります。たとえば、Peters では、店舗が所在する都市の規模に基づいて店舗を区別しています。

SQL および Numpy プログラミング手法を適用することで、モデルに同様のコンテキストを提供できます。まず、自社の店舗がある都市の人口規模を理解する必要があります。次に、人口の差に基づいてすべての店舗間の距離を測定します。最後に、すべての売上データを 2D マトリックスに結合します。時間、2 番目の次元は店舗の距離の指標です。

図の売上マト​​リックスは、最近のレモネードの売上をわかりやすくまとめており、結果として得られるパターンを視覚的に説明できます。売上マトリックスの左下隅にあるデータ ポイントを見てください。これはベルリンの最新の売上データです。同様の店舗 (ハンバーガーなど) が売上の急激な増加を繰り返すことはないため、この明るい点は例外である可能性が高いことに注意してください。対照的に、7月の売上ピークは類似店舗で再現された。

したがって、コンテキストを作成するには、常に距離インジケーターを追加する必要があります。

ここで、Peters の声明を数学用語に変換します。この用語は、製品がある都市の人口規模に基づいてモデル化できます。新しいコンテキスト ディメンションを追加するときは、正しい距離メトリックを非常に慎重に検討する必要があります。それは、予測したいエンティティにどのような要因が影響するかによって異なります。影響を与える要因は完全に製品に依存するため、距離インジケーターはそれに応じて調整する必要があります。たとえば、ドイツでのビールの販売状況を見ると、消費者は地元のビール醸造所から製品を購入する可能性が高いことがわかります (全国には約 1,300 の異なるビール醸造所があります)。

ケルンの人は通常クルシュを飲みますが、30分ほど北に車を走らせてデュッセルドルフ地方に行くと、人々はクルシュを避け、より濃いモルタルのストロングアルトビールを好みます。したがって、ドイツのビールの販売の場合、店舗の距離を地理的な距離でモデル化するのが合理的な選択である可能性があります。ただし、これは他の製品カテゴリ (レモネード、オレンジジュース、スポーツドリンクなど) には当てはまりません。

追加のコンテキスト ディメンションを追加したため、潜在的な予測モデルがさまざまな時間およびさまざまな店舗でレモネードの販売プロファイルを取得できる、コンテキストが豊富なデータセットを作成しました。これにより、モデルは最近の販売履歴を確認し、他の場所の同様の店舗を左右に観察することで、ベルリンの店舗での将来の販売について情報に基づいた決定を下すことができます。

ここから、追加のコンテキスト ディメンションとして製品タイプをさらに追加できます。したがって、レモネード (予測ターゲット) との類似性に基づいてランク付けされた他の製品のデータを使用して売上マトリックスを充実させます。ここでも、適切な類似性メトリックを見つける必要があります。コーラはオレンジジュースというよりレモネードに似ていますか?どのようなデータに基づいて類似性ランキングを定義できますか?

店舗の場合は、都市の人口という継続的な測定値があります。今私たちは製品カテゴリーを扱っています。私たちが本当に探したいのは、レモネードと同様の販売行動を持つ製品です。レモネードとは対照的に、すべての製品の時間分解販売データの相互相関分析を実行できます。このようにして、各製品のピアソン相関係数を取得し、販売パターンがどの程度類似しているかを示します。コーラなどのソフトドリンクの販売パターンはレモネードと同様で、夏に販売が増加する可能性があります。他の製品はまったく異なる動作をします。たとえば、クリスマス マーケットで提供される温かくて甘いワイン、グーワインは、12 月に販売のピークがあり、その後、その年の残りの期間にはほとんど販売されない可能性があります。

[訳者注] 時間分解: 物理学または統計学の名前。これに関連して他によく使われる言葉としては、時間分解診断、時間分解スペクトルなどがあります。

相互相関分析により、グリューヴァイン ワインのピアソン係数は低く (実際には負)、コーラのピアソン係数は高いことがわかります。

売上マトリックスに 3 番目の次元を追加しますが、2 番目の次元を逆方向に接続することで製品コンテキストを含めることができます。これにより、最も重要な販売データ (ベルリン レモネードの販売) が中心に配置されます。

#機能を追加

##非常に有益なデータ構造ですが、これまでのところ特徴は 1 つだけです。それは、特定の時間に特定の店舗で特定の製品が販売された製品の数です。堅牢で正確な予測を行うにはこれで十分かもしれませんが、他のデータ ソースから有用な情報を追加することもできます。

たとえば、飲料の購入行動は天候に左右される可能性があります。たとえば、非常に暑い夏には、レモネードの需要が増加する可能性があります。マトリックスの 2 番目の層として気象データ (気温など) を提供できます。気象データは、販売データと同じコンテキスト (店舗の場所と製品) で注文されます。異なる製品についても、同じ気温データを取得します。ただし、時間や店舗の場所が異なると、違いがあることがわかり、データに有用な情報が得られる可能性があります。

このようにして、売上と温度データをさらに含む 3 次元マトリックスが得られます。温度データを含めることによって追加のコンテキスト ディメンションを追加したわけではないことに注意してください。前に指摘したように、データを特定の方法で分類すると、コンテキストが明らかになります。確立したデータ コンテキストについては、時間、製品の類似性、店舗の類似性に基づいてデータを並べ替えました。ただし、特徴の順序 (この場合、行列の 3 次元に沿った順序) は無関係です。実際、私たちのデータ構造は RGB カラー画像と同等です。 RGB 画像には、2 つのコンテキスト次元 (空間次元 x および y) と 3 つのカラー レイヤー (赤、緑、青) があります。画像を正しく解釈するために、カラー チャネルの順序は任意です。一度定義したら、それを順番に保つ必要があります。しかし、特定のコンテキストで編成されたデータの場合、距離メトリックはありません。

つまり、入力データの構造を事前に決定することはできません。したがって、私たちは創造性と直感を最大限に発揮して、新しい実現可能性の指標を発見する時期に来ています。

概要

時間分解販売データに 2 つの追加のコンテキストと追加の特徴レイヤーを追加することにより、2 つの「チャネル」(売上と温度) を含む 2 次元の「チャネル」を取得します。写真"。このデータ構造は、特定の店舗での最近のレモネードの売上と、同様の店舗や類似の製品の売上と気象情報を包括的に表示します。これまでに作成したデータ構造は、たとえば複数の畳み込み層や LSTM ユニットを含むディープ ニューラル ネットワークによる解釈に非常に適しています。ただし、スペースの制限があるため、これに基づいて適切なニューラル ネットワークの設計を開始する方法については説明しません。これは私のフォローアップ記事の主題になるかもしれません。

私はあなたに独自のアイデアを持ってもらいたいと考えています。入力データの構造はあらかじめ決まっていないかもしれませんが、創造性と直感をすべて使ってそれを拡張することができます (そうすべきです)。

一般的に言えば、コンテキストリッチなデータ構造は自由には利用できません。会社の全店舗にわたるさまざまな製品を予測するには、数千の状況に応じた豊富な販売プロファイル情報 (店舗の製品構成ごとに 1 つのマトリックス) を生成する必要があります。データを必要な形式に変換し、後続のニューラル ネットワークの高速トレーニングと予測サイクルに提供するために、効果的な処理とバッファリングの手段を設計するには、多くの追加作業を行う必要があります。もちろん、これを行うことで、正確な予測を行うことができ、ノイズの多いデータであっても非常に堅牢である望ましい深層学習モデルが得られます。これは、「ルールを破って」非常に賢明な決定を行うことができるように見えるためです。

翻訳者紹介

Zhu Xianzhong 氏、51CTO コミュニティ編集者、51CTO エキスパートブロガー、講師、濰坊市の大学のコンピューター教師、フリーランスプログラミング業界のベテラン。

元のタイトル: Context-Enriched Data: The Secret Superpower for Your Deep Learning Model 、著者:クリストフ・モール

以上が深層学習モデルの予測品質を向上させる秘密兵器 - コンテキスト認識データの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。