目次
1. GNN レコメンデーション システムの基礎となるコンピューティング能力の進化
2. エンドサイド GNN レコメンデーション システムのパーソナライゼーション
五、問答環節
Q1:在端上做圖模型,子圖的下發流量會不會太大?
ホームページ テクノロジー周辺機器 AI GNNs技術のレコメンドシステムへの応用とその実用化

GNNs技術のレコメンドシステムへの応用とその実用化

Oct 07, 2023 am 11:41 AM
推奨システム gnns

GNNs技術のレコメンドシステムへの応用とその実用化

1. GNN レコメンデーション システムの基礎となるコンピューティング能力の進化

過去 20 年間、コンピューティング形式は進化し続けてきました。 2010 年以前は、クラウド コンピューティングが特に人気がありましたが、他のコンピューティング形式は比較的弱いものでした。ハードウェアのコンピューティング能力の急速な発展とエンドサイド チップの導入により、エッジ コンピューティングが特に重要になっています。現在の 2 つの主要なコンピューティング形式は、AI の開発を 2 つの二極化した方向に形成しています。一方で、クラウド コンピューティング アーキテクチャでは、超大規模クラスター機能を使用して、基盤モデルなどの大規模な AI モデルをトレーニングできます。またはいくつかの生成モデル。一方で、エッジコンピューティングの発展により、AIモデルを端末側に展開し、さまざまな認識タスクを端末側で実行するなど、より軽量なサービスを提供することも可能になります。同時に、メタバースの発展に伴い、多くのモデルの計算がエンド側に配置されるようになります。したがって、これら 2 つのコンピューティング形式が調和させたい中心的な問題は、コンピューティングと送信の間のバランスであり、その後、人工知能の二極化した発展が続きます。

GNNs技術のレコメンドシステムへの応用とその実用化

2. エンドサイド GNN レコメンデーション システムのパーソナライゼーション

GNNs技術のレコメンドシステムへの応用とその実用化

これら 2 つの計算フォームは GNN のレコメンデーション システムに機会をもたらしますか?

Duanyun の視点は、全体像と局所的なサブグラフの視点と比較できます。 GNN の推奨システムでは、グローバル サブグラフは、多くのノード レベルのサブグラフから継続的に収集されるグローバル サブグラフです。その利点は、データが完全であり、ノード間の比較的包括的な関係を提供できることです。この種の帰納的バイアスはより普遍的であり、さまざまなノードのルールを要約して帰納的バイアスを抽出するため、強い汎化能力を持っています。局所化されたサブグラフは必ずしも特に完全であるわけではありませんが、その利点は、サブグラフ上で個人の行動の進化を正確に記述し、個人化されたノード関係の確立を提供できることです。したがって、端末とクラウドの関係は、グローバル サブグラフとローカライズされたサブグラフに似ています。クラウド コンピューティングはサービスを提供するための強力な集中型コンピューティング能力を提供できますが、端末はいくつかのデータ パーソナライズされたサービスを提供できます

グローバル グラフとローカライズされたサブグラフの利点を組み合わせて、モデルのパフォーマンスについては、今年の WSDM2022 で発表された研究で調査されました。これは、グローバル グラフのグラフ モデリング全体を持ち、適応を行うためにサブグラフを使用していくつかのローカル モデルを構築する Ada-GNN (グラフ ニューラル ネットワークを改善するためのローカル パターンへの適応) モデルを提案します。このような適応の本質は、グローバル モデルとローカル モデルを組み合わせたモデルがローカル グラフのルールをより洗練された方法で認識できるようにし、個別化された学習パフォーマンスを向上させることです。

GNNs技術のレコメンドシステムへの応用とその実用化

次に、特定の例を使用して、サブグラフに注意を払う必要がある理由を説明します。電子商取引の推奨システムには、携帯電話、パッド、カメラ、携帯電話周辺製品などのデジタル製品間の関係を説明できるデジタル愛好家のグループが存在します。彼がカメラの 1 つをクリックすると、誘導バイアスが引き起こされました。グループ貢献度マップによって引き起こされる帰納的バイアスマップは、この種の携帯電話を推奨するよう促すかもしれませんが、個人の視点に立ち返ると、その人が写真愛好家であり、写真製品に特別な注意を払っている場合、このようなパラドックスが生じることがあります。下に示された。グループ寄与マップによって引き起こされる帰納的バイアスは、特定のグループ、特に末尾グループに対して強すぎますか? これは、私たちがよくマシュー効果と呼ぶものです。

GNNs技術のレコメンドシステムへの応用とその実用化

一般に、既存の二極化されたコンピューティング形式は、GNN 推奨システムのモデリングを再構築する可能性があります。従来のレコメンデーション システムは、候補プールから製品またはアイテムを呼び出し、GNN モデリングを通じてそれらの間の関係を認識し、ユーザーをランク付けして推奨します。ただし、エッジ コンピューティングのサポートにより、パーソナライゼーション モデルをエンド側に展開し、サブグラフで学習することでよりきめの細かいパーソナライゼーションを認識できます。もちろん、デバイスとクラウドのコラボレーションのためのこの新しい推奨システム アーキテクチャには、デバイスのコンピューティング能力と消費電力が実現可能であるという前提があります。しかし、実際には小型モデルの計算能力のオーバーヘッドは大きくなく、1~2メガバイトに圧縮して既存のスマートフォンに計算能力のオーバーヘッドを乗せれば、実際にはゲームアプリより多くの計算能力を消費することはありません。そして大きな電気エネルギー。したがって、エッジ コンピューティングのさらなる発展とエンド デバイスのパフォーマンスの向上により、エンド側でより多くの GNN モデリングが可能になる可能性が高まります。 GNN モデルを端末に配置したい場合は、端末の計算能力とストレージ容量を考慮する必要があります。先ほどモデル圧縮についても触れましたが、デバイス側で GNNs モデルをより効果的にしたい場合、比較的大きな GNNs モデルを配置する場合は、モデル圧縮を実行する必要があります。モデルの圧縮、枝刈り、量子化といった従来の方法は既存の GNN モデルで使用できますが、推奨システムのパフォーマンスの低下を引き起こします。このシナリオでは、デバイス側モデルを構築するためにパフォーマンスを犠牲にすることはできないため、プルーニングと量子化は便利ですが、その効果は限られています。

GNNs技術のレコメンドシステムへの応用とその実用化もう 1 つの便利なモデル圧縮方法は蒸留です。数分の1しか削減できないかもしれませんが、コストは同様です。 KDD で発表された最近の研究は、GNN の蒸留に関するものです。 GNN では、グラフィカル データ モデリングの蒸留は、距離測定がロジット空間では簡単に定義できるが、潜在特徴空間では、特に教師 GNN と生徒 GNN の間のレイヤーごとの距離測定が簡単に定義できるという課題に直面しています。この点に関して、KDD に関するこの研究は、敵対的生成を通じてメトリクスを学習することで学習可能な設計を実現するソリューションを提供します。

#GNN のレコメンデーション システムでは、前述のモデル圧縮技術に加えて、分割デプロイは具体的で非常に便利な手法です。これは、GNN レコメンデーション システムのモデル アーキテクチャと密接に関連しています。これは、GNN の最下層が製品の項目埋め込みであり、MLP 非線形変換のいくつかの層の後、GNN の集約戦略が使用されるためです

モデルがトレーニングされると、当然の利点が得られます。基本層はすべて共有されており、カスタマイズできるのは GNN 層のみです。ここでパーソナライズする場合、モデルを2つの部分に分割し、モデルの公開部分をクラウドに置き、計算能力が十分であるため、パーソナライズ部分を端末上にデプロイできます。このようにして、中間カーネルの GNN を端末に保存するだけで済みます。実際のレコメンデーション システムでは、このアプローチによりモデル全体のストレージ オーバーヘッドを大幅に節約できます。アリババのシナリオで実践しましたが、分割デプロイ後のモデルはKBレベルに達する場合もありますが、さらに単純なビット量子化モデルを介してモデルを非常に小さくすることができ、端末に配置した際に特に大きなオーバーヘッドはほとんどありません。もちろん、これは経験に基づいた分割方法です。 KDD で公開されたファーウェイの最近の成果の 1 つは、端末機器のパフォーマンスを感知してこのモデルを自動的に分割できる自動モデル分割です。もちろん、GNN に適用する場合は、いくつかの再構成が必要になる可能性があります。

いくつかの深刻な配布転送シナリオにモデルをデプロイする場合、事前トレーニング済みモデルデバイスに展開される前は比較的古いものです。これは、実際のグラフ データがトレーニングのためにクラウドに戻る頻度が比較的遅く、場合によっては 1 週間かかる場合があるためです。

ここでの主なボトルネックは、GNNs技術のレコメンドシステムへの応用とその実用化リソースの制約です。

、研究では必ずしもこのボトルネックに遭遇するわけではありませんが、実際には、古いエンドサイド モデルの問題に遭遇するでしょう。ドメインが変更され、データが変更されると、モデルは適用できなくなり、パフォーマンスが低下します。現時点では、GNN モデルのオンライン パーソナライゼーションが必要ですが、エンドでのパーソナライゼーションは、エンドサイドのコンピューティング能力とストレージのオーバーヘッドという課題に直面します。

もう 1 つの課題はデータの疎性です。最終データには個々のノードしかないため、データの疎性も大きな課題です。最近の研究では、比較的効率的なアプローチである Parameter-Efficient Transfer を採用しており、層間にいくつかのモデル パッチを適用することで、残差ネットワークと比較することができますが、学習時にパッチを学習するだけで十分です。フラグ機構により使用中はオン、未使用時はオフが可能で、オフ時は元のベーシックモデルに縮退することができ、安全かつ効率的です。

GNNs技術のレコメンドシステムへの応用とその実用化

これは、KDD2021 で公開された、より実用的で効率的なアプローチであり、GNN モデルのオンライン パーソナライゼーションを実現できます。最も重要なことは、このような実践から、このローカル モデルのサブグラフ情報をセンシングすることによって、全体のパフォーマンスが確かに着実に向上することができることを発見したことです。また、マシュー効果も軽減されます。

レコメンデーション システムでは、テール ユーザーは依然としてグラフ データに対するマシュー効果の問題に直面しています。ただし、分割統治モデリング アプローチを採用し、サブグラフをパーソナライズすれば、行動がまばらなユーザーのレコメンデーション エクスペリエンスを向上させることができます。特にテールクラウドの場合、パフォーマンスの向上はより顕著になります

GNNs技術のレコメンドシステムへの応用とその実用化

#3. ターミナルとクラウドの協調的な GNN レコメンデーション システムの実装

GNN 推奨システムには、クラウド側サービス用の GNN モデルとクライアント側用の小規模な GNN モデルがあります。 GNN のレコメンデーション システム サービスには 3 つの実装形式があります。1 つ目はセッション レコメンデーションであり、コストを節約するためのレコメンデーション システムで一般的なバッチ セッション レコメンデーションです。つまり、バッチ レコメンデーションが一度に作成され、ユーザーは事前に多くの製品を閲覧する必要があります。推奨が再びトリガーされます。 2 つ目は、極端な場合に一度に 1 つだけを推奨することです。 3 番目のタイプは、前述したエンドツーエンドのパーソナライズされたモデルです。これら 3 つのレコメンド システム方式にはそれぞれ利点があり、ユーザーの興味の変化が緩やかな場合にはクラウド側で正確に認識できればよいため、クラウド側モデルでセッション レコメンドを行うだけで十分です。ユーザーの興味がますます多様に変化する場合、エンドサイドのサブグラフのパーソナライズされた推奨により、推奨パフォーマンスを相対的に向上させることができます。

ユーザーの行動が突然非常にまばらになった状況では、推奨事項はより常識的な推論に依存します。これら 3 つの推奨動作を調整するために、GNN の推奨システムを調整するメタ コーディネーター - メタ コントローラーを確立できます。

GNNs技術のレコメンドシステムへの応用とその実用化

3 方向のレコメンデーションを構築します。共存エンドクラウド 協調レコメンデーション システムの課題の 1 つは、データ セットの構築です。これは、これらのモデルを管理する方法や意思決定の方法がわからないためです。このようなデータセットはありませんが、単一チャネルのデータセットはあり、その因果関係を評価するための評価を通じていくつかの代理モデルを構築します。因果関係が比較的大きい場合、そのような決定を下すことによる利益は比較的大きくなり、疑似ラベル、つまり反事実のデータセットが構築される可能性があります。

GNNs技術のレコメンドシステムへの応用とその実用化

1 つのチャネルには 3 つのモデル D0、D1、および D2 があります。メタコーディネーターをトレーニングするために、意思決定ラベルを構築し、反事実データセットを構築します。最後に、このメタ コーディネーターが各シングル チャネル モデルと比較して安定したパフォーマンス向上を示していることを証明できます。ランダムなヒューリスティックに比べて、大きな利点があります。このようにして、デバイスとクラウドの連携のための推奨システムを構築できます。

4. エンドサイド GNN 推奨システムのセキュリティ問題

最後に、エンドサイド GNN 推奨システムのセキュリティ問題について説明します。デバイスとクラウドの協調 GNN レコメンデーション システムが公開されると、オープン環境では必然的に問題に直面することになります。学習用にモデルをパーソナライズする必要があるため、エスケープ攻撃、ポイズニング攻撃、バックドア攻撃などの攻撃のリスクがあり、最終的にレコメンデーション システムが大きなセキュリティ リスクに直面する可能性があります。

GNNs技術のレコメンドシステムへの応用とその実用化基盤となるコンピューティング能力が、現在のクラウド連携 GNN レコメンデーション システムの方向性を推進しますが、まだ開発の初期段階にあり、潜在的な問題がいくつかあります。同時に、パーソナライズされたモデルの構築においても、モデリングの分野にはまだ多くの改善の余地があります。

五、問答環節

Q1:在端上做圖模型,子圖的下發流量會不會太大?

A1:子圖不是下發的,它其實是匯聚式的。第一點,子圖下發是伴隨式的。例如我們要做推薦商品的時候,它天然會攜帶商品的屬性資訊。這裡伴隨式的下發是跟屬性同等級的開銷,其實開銷不是很大。因為它不是把整個大圖都下發下來,只是一些鄰居子圖,至多二階的鄰居子圖還是非常小的。第二點,端上一部分子圖還是依賴於用戶行為的回饋做一些 co-occurrence 共點擊自動構建的,所以它是一個雙端匯聚的形式,總體開銷不是特別大。

以上がGNNs技術のレコメンドシステムへの応用とその実用化の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Go 言語と Redis を使用してレコメンデーション システムを実装する方法 Go 言語と Redis を使用してレコメンデーション システムを実装する方法 Oct 27, 2023 pm 12:54 PM

Go 言語と Redis を使用してレコメンデーション システムを実装する方法レコメンデーション システムは、最新のインターネット プラットフォームの重要な部分であり、ユーザーが興味のある情報を発見して入手するのに役立ちます。 Go 言語と Redis は、レコメンデーション システムの実装プロセスで重要な役割を果たす 2 つの非常に人気のあるツールです。この記事では、Go 言語と Redis を使用して簡単なレコメンデーション システムを実装する方法と、具体的なコード例を紹介します。 Redis は、キーと値のペアのストレージ インターフェイスを提供し、さまざまなデータをサポートするオープンソースのインメモリ データベースです。

Javaで実装されたレコメンデーションシステムのアルゴリズムとアプリケーション Javaで実装されたレコメンデーションシステムのアルゴリズムとアプリケーション Jun 19, 2023 am 09:06 AM

インターネット技術の継続的な発展と普及に伴い、重要な情報フィルタリング技術としてレコメンドシステムがますます広く利用され、注目されています。レコメンデーション システム アルゴリズムの実装に関しては、高速で信頼性の高いプログラミング言語として Java が広く使用されています。この記事では、Java で実装されたレコメンデーション システム アルゴリズムとアプリケーションを紹介し、ユーザー ベースの協調フィルタリング アルゴリズム、アイテム ベースの協調フィルタリング アルゴリズム、およびコンテンツ ベースのレコメンデーション アルゴリズムという 3 つの一般的なレコメンデーション システム アルゴリズムに焦点を当てます。ユーザーベースの協調フィルタリングアルゴリズムは、ユーザーベースの協調フィルタリングに基づいています

応用例:go-microを利用したマイクロサービスレコメンドシステムの構築 応用例:go-microを利用したマイクロサービスレコメンドシステムの構築 Jun 18, 2023 pm 12:43 PM

インターネット アプリケーションの人気に伴い、マイクロサービス アーキテクチャが一般的なアーキテクチャ手法になりました。その中でも、マイクロサービス アーキテクチャの鍵となるのは、アプリケーションを異なるサービスに分割し、RPC で通信することで疎結合なサービス アーキテクチャを実現することです。この記事では、実際の事例をもとに、go-microを使ってマイクロサービスレコメンドシステムを構築する方法を紹介します。 1. マイクロサービス レコメンデーション システムとは何ですか? マイクロサービス レコメンデーション システムは、マイクロサービス アーキテクチャに基づいたレコメンデーション システムであり、レコメンデーション システム内のさまざまなモジュール (特徴量エンジニアリング、分類など) を統合します。

正確なレコメンデーションの秘密: アリババの分離ドメイン適応不偏リコール モデルの詳細な説明 正確なレコメンデーションの秘密: アリババの分離ドメイン適応不偏リコール モデルの詳細な説明 Jun 05, 2023 am 08:55 AM

1. シナリオの紹介 まず、今回のシナリオである「良い商品が手に入る」シナリオを紹介します。その場所はタオバオのホームページ上の 4 つの正方形のグリッド内にあり、1 ホップの選択ページと 2 ホップの承認ページに分かれています。受付ページには主に 2 つの形式があり、1 つは画像とテキストの受付ページ、もう 1 つは短いビデオの受付ページです。このシナリオの主な目標は、ユーザーに満足のいく商品を提供し、GMV の成長を促進し、それによって専門家の供給をさらに活用することです。 2. 人気バイアスとは何ですか。なぜ次に、この記事の焦点である人気バイアスについて説明します。人気バイアスとは何ですか?人気の偏りはなぜ起こるのでしょうか? 1. 人気バイアスとは 人気バイアスには、マシュー効果や情報コクーンルームなどの別名があり、直感的に言えば爆発性の高い製品のカーニバルであり、人気のある製品ほど露出されやすくなります。この結果、

Go 言語はクラウド検索と推奨システムをどのように実装しますか? Go 言語はクラウド検索と推奨システムをどのように実装しますか? May 16, 2023 pm 11:21 PM

クラウド コンピューティング技術の継続的な開発と普及に伴い、クラウド検索および推奨システムの人気が高まっています。この需要に応えて、Go 言語も優れたソリューションを提供します。 Go 言語では、高速な同時処理機能と豊富な標準ライブラリを使用して、効率的なクラウド検索およびレコメンデーション システムを実装できます。以下では、Go 言語がこのようなシステムをどのように実装しているかを紹介します。 1. クラウド上の検索 まず、検索の姿勢と原則を理解する必要があります。検索姿勢とは、ユーザーが入力したキーワードに基づいてページを検索エンジンが照合することを指します。

NetEase Cloud Musicコールドスタート技術の推奨システム NetEase Cloud Musicコールドスタート技術の推奨システム Nov 14, 2023 am 08:14 AM

1. 問題の背景: コールド スタート モデリングの必要性と重要性 コンテンツ プラットフォームとして、Cloud Music には毎日大量の新しいコンテンツがオンラインにあります。クラウド音楽プラットフォーム上の新しいコンテンツの量は、ショートビデオなどの他のプラットフォームに比べて比較的少ないですが、実際の量は皆の想像をはるかに超えている可能性があります。同時に、音楽コンテンツは、短いビデオ、ニュース、製品の推奨とは大きく異なります。音楽のライフサイクルは非常に長期間に及び、多くの場合、数年単位で測定されます。曲によっては数か月、数年眠っていた後に爆発することもありますし、名曲は10年以上経ってもなお強い生命力を持っていることもあります。したがって、音楽プラットフォームのレコメンドシステムでは、他のカテゴリをレコメンドすることよりも、人気のないロングテールの高品質コンテンツを発見し、適切なユーザーにレコメンドすることが重要です。

Ant Marketing の推奨シナリオにおける因果関係修正手法の適用 Ant Marketing の推奨シナリオにおける因果関係修正手法の適用 Jan 13, 2024 pm 12:15 PM

1. 因果関係修正の背景 1. レコメンデーションシステムにズレが生じる レコメンドモデルは、データを収集して学習し、ユーザーに適切なアイテムをレコメンドします。ユーザーが推奨アイテムを操作すると、収集されたデータはモデルをさらにトレーニングするために使用され、閉ループが形成されます。ただし、この閉ループにはさまざまな影響要因が存在し、エラーが発生する可能性があります。エラーの主な理由は、モデルのトレーニングに使用されるデータのほとんどが理想的なトレーニング データではなく観測データであり、露出戦略やユーザーの選択などの要因の影響を受けることです。このバイアスの本質は、経験的なリスク推定値の期待値と真の理想的なリスク推定値の期待値の違いにあります。 2. 一般的なバイアス レコメンデーション マーケティング システムにおける一般的なバイアスには、主に 3 つのタイプがあります: 選択的バイアス: ユーザーのルートに起因します。

PHPによるレコメンデーションシステムと協調フィルタリング技術 PHPによるレコメンデーションシステムと協調フィルタリング技術 May 11, 2023 pm 12:21 PM

インターネットの急速な発展に伴い、推奨システムはますます重要になってきています。レコメンデーション システムは、ユーザーが興味のあるアイテムを予測するために使用されるアルゴリズムです。インターネット アプリケーションでは、推奨システムがパーソナライズされた提案や推奨を提供できるため、ユーザーの満足度とコンバージョン率が向上します。 PHP は、Web 開発で広く使用されているプログラミング言語です。この記事では、PHP のレコメンデーション システムと協調フィルタリング テクノロジについて説明します。レコメンデーション システムの原理 レコメンデーション システムは、機械学習アルゴリズムとデータ分析に依存しており、ユーザーの過去の行動を分析および予測します。

See all articles