アントグループのレコメンド事業におけるグラフ機械学習の応用

この記事では、アリ推薦システムにおけるグラフ機械学習の応用について紹介します。 Ant の実際のビジネスには、ナレッジ グラフ、他のビジネスのユーザーの行動など、大量の追加情報が存在します。これらの情報は通常、レコメンデーション ビジネスに非常に役立ちます。グラフ アルゴリズムを使用して、この情報とレコメンデーション システムを接続して、機能強化を実現します。ユーザーの興味を表現します。全文は主に次の側面に焦点を当てています:

• #背景
• #ベースグラフでの推奨事項
• ソーシャルおよびテキストベースの推奨事項
• クロスドメインの推奨事項

01 背景

## さらにAlipay には、主要な支払い機能に加えて、ウエストバンドの推奨、ファンドの推奨、消費者クーポンの推奨など、多数の推奨シナリオもあります。 Alipay ドメイン内のレコメンデーションと他のレコメンデーションとの最大の違いは、ユーザーの行動がまばらでアクティビティが低いことです。多くのユーザーは支払いのためだけに Alipay を開き、他のことには注意を払っていません。したがって、 レコメンデーション ネットワークでは UI 側のレコードが非常に少なく、アクティビティの低いターゲットのレコメンデーションにも重点が置かれています。 たとえば、DAU を増やすために、ファンドの推奨セクションにコンテンツを低アクティブ ユーザーのウエストバンドにのみ配置し、通常のユーザーには表示できないようにすることができます。財務管理を行っていない、または財務管理の立場が低いユーザーには、取引用の資金を購入するよう誘導されており、消費者クーポンの推奨は、活動量の少ないユーザーのオフライン消費を促進する目的でもあります。

#歴史的な行動シーケンスに関する情報はほとんどありません。 UI の履歴動作シーケンスに直接基づいて推奨する一部の方法は、今回のシナリオには適していない可能性があります。 したがって、Alipay ドメインの UI 関係情報を強化するために、次の 3 つのシーン情報を導入しました。ソーシャルネットワーク UU 関係

#II グラフ関係

• 他のシナリオにおける UI 関係
• 低アクティブ ユーザーの友人のクリック設定は、UU を通じて取得できます。ソーシャルネットワークの関係. 同質性によると、ユーザーのクリックの好みを推測するために使用できます. アイテム間のグラフの関係により、同様のアイテムに対するユーザーの好みの情報を発見し、拡張することができます. 最後に、クロスドメインシナリオにおけるユーザーの行動も、ソーシャルネットワークに大きな影響を与えます現在のシナリオの推奨タスク。ヘルプ。
• #02グラフベースのレコメンデーション

多くのレコメンデーション シナリオにおけるユーザーの行動はまばらであり、特に新しいユーザーを説明する場合、利用できる行動情報はほとんどないため、通常、属性、コンテキスト、画像などの多くの補助情報を導入する必要があります。ここで紹介するのはナレッジ グラフです。

1. 既存の課題

ナレッジ グラフは大規模で完全なものです歴史的な専門家の知識はアルゴリズムの推奨に役立ちますが、まだ 2 つの問題があります:

##第一に、

グラフ自体がこのビジネス向けに設計されていない可能性があるため、無駄な情報が多く含まれており、トレーニング プロセスにも非常に時間がかかります。

一般的な解決策は、製品に関連付けることができるグラフ内のエッジのみを保持し、他のすべてのエッジを削除することですが、他のエッジも有用であるため、情報の一部が失われる可能性があります。

2 つ目は、グラフを補助情報として使用する場合、ユーザーの好みをグラフ内のエッジに集約する方法がありません。。上の図に示すように、ユーザー 1 が映画 1 と映画 2 を好む理由は、主演が同じであるためである可能性があり、ユーザー 2 が映画 2 と映画 3 を好む理由は、同じジャンルであるためです。通常のグラフモデルのUIとIIの関係をモデル化するだけでは、ユーザーと動画の相関関係しか得られませんが、こうしたユーザーの潜在的な意図をグラフに集約する方法はありません。

#したがって、後で主にマップの蒸留とマップの精製の 2 つの問題を解決します。

#2. 既存の方法

##① Embedding -ベースのモデル

Embedding ベースのメソッドは、まずグラフ表現学習メソッドを通じてグラフ内のノードを Embedding に変換し、次に、埋め込み UI モデルに直接接続されます。この種の手法は、グラフ内の相関関係を事前に学習してEmbeddingに変換するため、ユーザと知識エッジの類似度を計測することが難しく、グラフの蒸留やグラフの細分化の問題も解決できません。

② パスベースのモデル

パスベースこの方法では、グラフ内の知識エッジに基づいてグラフを複数のメタパスに分解しますが、メタパスを構築するプロセスには多くの専門知識が必要であり、知識エッジに対するユーザーの好みは反映されません。

##③ GCN ベースのモデル

GCN に基づく手法は、UI と II の関係をモデル化します。一般に、注目手法ではエッジの種類に応じて異なる重みが取られますが、エッジの重みは、エッジの両端のノードの表現にのみ関係します。エッジであり、ターゲット ノードの表現とは何の関係もありません。

#3. 解決策

私たちが提案するモデルは主に次のように分けられます。これは 4 つの部分で構成されており、まずグラフ表現学習によってグラフ表現を取得し、知識依存伝播を使用して学習および集計してさまざまなエッジの重要性を取得し、次に蒸留モジュールを使用してエッジをサンプリングしてノイズ除去します。グラフを作成し、条件付きアテンションを追加してマップを洗練し、最終的にツインタワー モデルを作成して結果を取得します。

各部の具体的な内容を以下に紹介します。

① グラフ表現学習層

#ここで使用するのは、従来の TransH グラフ表現モデルです。グラフには多対 1 および 1 対多のエッジが多数あるためです。各ノードは TransH を介してエッジに対応する空間にマッピングされ、この空間内で 2 つのエッジの類似性が測定されます。

##②

グラフ表現学習層

#グラフ エッジの表現を学習した後、近傍内のグラフ エッジの表現を集約し、異なる cos を見つけます。エッジ スペース 距離は、グラフ内の点の重み付けされた集合として表されます。グラフのエッジには非常にノイズが多いため、追加のサンプリングを実行し、学習した重みに基づいてターゲットのサブグラフでサンプリングします。ターゲットのサブグラフは、ユーザーと製品を組み合わせた 2 次のサブグラフです。サンプリングの結果、より小さなサブグラフが生成されます。 #③

グラフ表現学習層

サブグラフを取得した後、条件付きの注意を払って、ユーザーと製品に与えられたエッジの重要性を測定します。エッジの重要性は、エッジ自体が非常に重要であることと、ユーザーがエッジに非常に注目していることの 2 つに分けられます。エッジ自体の重要性は、前のステップの知識依存の注意で学習されています。追加のトレーニングは必要ありません。エッジに対するユーザーの重要性は、すべてのターゲット セットの表現とターゲット セットの両方のエンドポイントの表現を結合することによって作成されます。アテンションへのエッジ 条件付きアテンションを取得し、条件付きアテンションに基づいていくつかの集計を実行します。

##④ ツインタワーモデル

最後に、ペアごとの損失を測定するツインタワー モデルを作成し、Adam のような手法を使用してグラフ表現の学習損失を同時に最適化します。およびレコメンデーション システムのターゲット損失、アルゴリズムの複雑さはポイントとエッジの数に直線的に関係します。

#4. 実験結果

##① 実験データセットとベンチマークモデルの選択

推奨システムとナレッジグラフのデータセットをいくつか選択しました ファンドについて当社のビジネスの推奨データセットのベースラインには、主に正則化ベースの CKE 手法、行列分解ベースの NMF 手法、パスベースの異種グラフ手法 RippleNet、GCN ベースの KGAT が含まれます。

②注意の可視化

左側のナレッジ アテンションでは、各エッジの値は両端のノードにのみ関連しています。右上隅の #U₅₃₂ および i ₁₆₇₈ の値は非常に小さいため、後でこのエッジをサンプリングするのは簡単ではありません。右側の 2 人のユーザーは U₀ ですが、商品が違えば画像全体の重みは全く異なります。予測中U₀- #i##2466 および U0-i 780、2 つのグラフの右端のパスの重みは完全に異なり、 U 0_-i2466 の右端のパスU0- を予測する際には、最も右のパスの方が重要であるため、 _{の重みが大きくなります。} i2466 の相関。 ③

モデルの評価

##トップ K レコメンデーションと CTR クリック タスクに対するモデルの効果を測定しました。ベースライン モデルと比較して、どちらも大幅に改善されました。オンラインでの資金を推奨します。/B テスト実験パフォーマンスの向上ももたらします。最後にアブレーション実験を行ったところ、条件付き注意モデルや知識注意モデルを削除すると効果が低下することがわかり、改善の有効性が証明されました。

03ソーシャルおよびテキストベースの推奨事項

ここでの内容これはソーシャルに基づいており、テキストによるレコメンデーションは、従来の意味でのレコメンデーション シナリオではありません。主に、オペレーターがユーザーの意図を理解し、ユーザーの成長を導くための新しいコンテンツや新しい広告を作成できるようにするためのものです。 ＃＃＃。例えば、ガードルのレコメンデーションの表紙をどうデザインするかなど、オペレーターはユーザーの意図を十分に理解した上で、ユーザーの心理的期待に応えるコンテンツをデザインすることができます。

1. 既存の課題トピックを使用するのが自然な方法です。モデルは、ユーザーの意図と製品の意図の分布を測定し、ユーザーを文書として扱い、製品を単語として扱い、ユーザーの意図を分解します。しかし実際には、特にターゲット顧客がアクティブ度の低いユーザーである場合、ユーザーのクリックはまばらであり、製品のクリックはロングテール分布に従うため、ユーザーの興味や意図を把握することが困難になります。

2. 解決策

最初に、UU 関係と UI 関係の両方を結合します。 GNN に参加して、ユーザーのクリック動作を学習および測定します。次に、学習したユーザー意図の事前分布の近似を作成します。従来のトピック モデルの事前分布はディリクレ分布です。ロジスティック正規分布の分布は次のように非常によく似ています。この分布の学習は、いくつかの重度のパラメータ化作業を通じて微分可能にすることができます。

# ユーザー間の関係を学習したら、次のステップはコーパス間の関係を学習することです。上の図には、テキストの説明が含まれる小さなプログラムがあります。このプログラムは、スキップグラム モデルを使用して、項目と陽性サンプルと陰性サンプルの間の類似性を計算し、単語の類似性を取得し、単語の類似性をマッピングします。 DNN を介してユーザーの意図表現に単語を変換し、最終的に KL 発散制約分布を必要な形式に調整します。

3. 実験結果

#私たちのデータセットは、There を含む連続 7 日間のユーザーのクリック データです。約 500,000 人のユーザー、9,206 のアイテム、および 2 億ユーザーの過去のクリック動作が含まれており、ソーシャル ネットワークには 700 万のエッジが含まれており、各ユーザーには平均 14 ～ 15 個の隣接ノードがあります。

#オフライン実験とオンライン実験をそれぞれ実施し、オフライン実験では、さまざまなトピック数の下でのユーザー間の類似性を測定しました。性別と意味論の類似性。オンライン実験では、モデルによって予測されたユーザーの意図を運用にフィードバックし、運用はユーザーの意図に基づいて説明文や表示ページを設計し、オンラインでのレコメンデーションを行います。操作の途中でマテリアルが生成されるため、モデル全体の実験リンクは比較的長くなる可能性があります。オンライン A/B 実験の目標は 2 つの部分に分かれています。1 つの部分は、マテリアルに基づいてマテリアルを設計する操作です。私たちのモデルのフィードバック、そしてもう 1 つの部分は歴史的専門家の経験を利用することです。実験結果は、私たちのモデルが以前と比較してオフライン実験とオンライン実験の両方で大幅に改善されたことを示しています。 #04

クロスドメインの推奨事項

##推奨ターゲットはアクティブ度の低いユーザーであり、タグや特徴がなかったり、Alipay を使用したことがなかったりする可能性があります。上の図では、まずユーザー間の類似性を分析しました, 青は見知らぬ人との行動の類似性を表し、赤は友人との行動の類似性を表します. 結果は、より緊密な関係を持つ友人ほど行動の重複の度合いが高いことを示しています。行動情報は、ユーザーの情報の補足として使用できます。次に、アクティブ ユーザーと非アクティブ ユーザーの友人の数を分析したところ、アクティブ ユーザーの友人の数が非アクティブ ユーザーの友人の数よりもはるかに多かったことが判明したため、アクティブ ユーザーのクリック情報を移行できないか考えました。非アクティブな友人の情報が表示され、推奨事項が支援されます。

つまり、私たちのモデルはコアですアイデアは、アクティブ ユーザーと非アクティブ ユーザーの特徴空間を揃えることです。非アクティブ ユーザーには多くの特徴が欠けているため、そのユーザーとアクティブ ユーザーの空間の特性は本質的に異なります。ここでは、GNN を使用してユーザーの表現を学習し、ユーザーの表現を共通空間にマッピングします。上図に示すように、CD-GNN の構造の上位層は予測したいアクティブ ユーザー、下位層は予測したい非アクティブ ユーザーであり、これらは 2 つの GNN によって学習され、1 つの GNN にマッピングされます。ドメイン インバリアント層を介した共有ユーザー 表現の観点からは、アクティブ ユーザーと非アクティブ ユーザーの両方に対してラベル予測が行われます。

具体的には、グラフ モデルにはソーシャル ネットワークとユーザー ページ ネットワークが含まれており、2 つのネットワーク上で異なる集計を実行し、ドメイン インバリアント レイヤーを使用してアクティブ ユーザーと非アクティブ ユーザーを組み合わせると、同じスペースにマッピングされ、最終的な損失 = ソース損失、ターゲット損失 - ドメイン不変損失となります。オンライン A/B 実験の結果は、GCN と比較してモデルの CTR が大幅に向上しており、動作がまばらな場合でもモデルが良好な結果を達成できることを示しています。

上記は、私たちのチームが発表した最近の結果の一部です。主に上記の研究について話しています。 3つの記事。

#05インタラクティブ Q&A

Q1: CD-GNN 層のパラメータ共有されていますか？

A1: アクティブ ユーザーの一部の特性 (ID 特性など) は、非アクティブ ユーザーの特性よりもはるかに優れているため、共有されません。両方の特徴 分布は一貫していないため、ここでは共有しません。

#Q2: クロスドメイン推奨の問題では、非アクティブなユーザーのターゲット ラベルの数が非常に少ないため、モデルが非アクティブなユーザーのターゲット埋め込みを学習するのが難しいです。この種の問題はどのように考えればよいでしょうか?

#A2: いくつかの事前トレーニング済みメソッドを使用して、いくつかの表現情報を事前に追加したり、いくつかのメソッドを通じて不足している特徴を補ったりすることができます。グラフ モデルの構築中にフィーチャを補完したり、近隣フィーチャを単に集約するのではなく、近隣フィーチャを補完したりすることができます。フィーチャ再構築と同様の損失を追加すると、この問題の解決に役立つ可能性があります。

#Q3: 最初のグラフベースの手法はファイン リハーサル シーンで実装されましたか?その中の GNN は通常何レベルに達しますか?

A3: ファンドの推奨セクションでは、ユーザーに 5 つのファンドのみが公開されています。リストが推奨される他のシナリオとは異なり、数百ものファンドが存在する可能性があります。 5 つのファンドを一目で把握できる情報量であり、再編による影響は大きくありません。モデルの結果が直線に直結する、洗練されたモデルです。一般的には 2 段階の GNN が使用されますが、3 段階の GNN ではタスクによってはあまり改善されず、オンライン遅延が長すぎます。

以上がアントグループのレコメンド事業におけるグラフ機械学習の応用の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。