ホームページ テクノロジー周辺機器 AI マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

Apr 15, 2023 am 08:28 AM
モデル

レコメンドシステムはインテリジェントな情報フィルタリング技術として、実際のシナリオで広く使用されています。ただし、レコメンデーション システムの成功は、多くの場合、ユーザーの個人情報や機密情報が含まれる可能性のある大量のユーザー データに基づいています。プライバシー保護によってユーザー情報が制限されている場合、またはユーザー情報を取得できないシナリオでは、従来のレコメンデーション システムが適切に機能しないことがよくあります。そのため、プライバシーやセキュリティを確保しつつ、信頼できるレコメンドシステムをいかに構築するかが喫緊の課題となっている。


近年、ユーザーが自分のプライバシーにますます注意を払うようになり、ログイン操作を行わずにオンライン プラットフォームを使用するユーザーが増加する傾向にあります。 、これにより、匿名のセッションベースの推奨事項も重要な研究の方向性となります。最近、香港科技大学、北京大学、マイクロソフト アジア リサーチなどの研究者らが、マルチレベルのユーザー意図を効率的に利用する新しいモデル Atten-Mixer を提案しました。この研究論文は、WSDM2023 で最優秀論文賞の佳作を受賞しました。


マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案


紙のリンク : https://dl.acm.org/doi/abs/10.1145/3539597.3570445


##研究の背景


セッションベースの推奨 (SBR) は、ユーザーの短い動的なセッション (つまり、ユーザーの行動シーケンス) に基づいた推奨方法です。


従来のユーザーベースまたはアイテムベースのレコメンデーション システムと比較して、SBR は現在のセッションでのユーザーの当面のニーズを捉えることに重点を置き、ユーザーの関心の急速な進化とロングテール効果に効果的に適応するという課題。


SBR モデルの進化では、リカレント ニューラル ネットワーク (RNN) に基づくモデルから畳み込みニューラル ネットワーク (畳み込みニューラル ネットワーク) に基づくモデルへニューラル ネットワーク (CNN) モデル、そして最近の SBR 研究では、アイテム間の複雑な伝達関係をより適切にマイニングするために、グラフ ニューラル ネットワーク (GNN) に基づくモデルが広く使用されています。


マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案


ただし、これらのモデルはパフォーマンスが向上していますモデルの複雑さの指数関数的な増加に比べて、ベンチマーク データセットの使用量は限られています。この現象に直面して、この論文は次のような疑問を提起します: これらの GNN ベースのモデルは SBR にとって単純すぎるのでしょうか、それとも複雑すぎるのでしょうか?

##予備分析

##この質問に答えるには、著者 既存の GNN ベースの SBR モデルを分解し、SBR タスクにおけるその役割を分析してみます。


# 一般的に、典型的な GNN ベースの SBR モデルは 2 つの部分に分解できます。


# (1) GNN モジュール。パラメーターは、グラフ畳み込みの伝播重みと、元の埋め込みとグラフ畳み込み出力を融合するための GRU 重みに分割できます。


(2) 読み出しモジュール。パラメータには、長期表現を生成するためのアテンション プーリングの重みと、予測用のセッション表現を生成するための変換の重みが含まれます。


#次に、著者はこれら 2 つの部分についてそれぞれ説明します。一般的に使用されるニューラル ネットワークのスパース化技術 (SparseVD) が使用され、モデルのトレーニング時にパラメーターの密度比が計算されます。



パラメータの密度比とは、パラメータの重みに含まれる要素の総数に対する、特定のしきい値を超える要素の数の比率を指します。その値は、パラメータの重要性を測定するために使用できます。パラメータ。


マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案


# #GNNモジュール。


GNN にはパラメータが多く、ランダムな初期化があるため、最初は多くのパラメータが存在します。更新される知識。したがって、グラフ畳み込み伝播重みの密度比は、データの最初の数バッチで変動することがわかります。

トレーニングが安定すると、密度比は 0 になる傾向があります。


マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

## 読み出しモジュール。

トレーニングが進むにつれて、

注意プーリングの重みの密度比を維持できることがわかります。より高いレベル。

他のデータセットや他の GNN ベースの SBR モデルでも同じ傾向が観察できます。

したがって、著者らは、GNN モジュールの多くのパラメータがトレーニング プロセス中に冗長であることを発見しました。これに基づいて、著者は、SBR の次のよりシンプルで効果的なモデル設計ガイドラインを提案します。

(1) 過度の複雑さを追求しない GNN 設計、作者は、

GNN 伝播部分を削除し、最初の埋め込み層のみを保持することを好みます

; (2) モデル設計者は、もっと多くのことを行う必要があります。

##注意ベースの読み出しモジュール

に焦点を当てます。

注意プーリング重みパラメータは高い密度比を維持するため、著者は、より高度な注意ベースの読み出し方法を使用する必要があると推測しています。より有益になります。

この記事では GNN の伝播部分への依存を放棄しているため、Readout モジュールはモデル推論に対してより多くの責任を負う必要があります。

インスタンス ビューに基づく既存の Readout モジュールの推論機能が限られていることを考慮して、この記事では、Readout モジュールのより強力な推論機能を設計する必要があります。 。

#より強力な推論機能を備えた Readout モジュールを設計する方法


#精神病理学の研究によると、人間の推論は本質的に多層の情報処理プロセスであるとされています。


たとえば、アリスが扱う基礎的な商品を包括的に考慮することで、人間は、アリスが準備する予定があるかどうかなど、より高いレベルの概念を得ることができます。結婚式や新居の装飾に。アリスが結婚式を計画している可能性が高いと判断した後、人間は、壁画などの花束に関連した装飾品ではなく、ウェディングバルーンなどの花束に関連した結婚式の品物を検討します。


このマルチレベル推論戦略をレコメンデーション システムに採用すると、ユーザー全体を考慮することで、大規模な検索スペースを整理し、局所的な最適なソリューションを回避できます。行動傾向はより満足のいく解決策に収束します。


# したがって、この記事では、この多層推論メカニズムを

# Readout モジュール設計に導入したいと考えています。 # 。


マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

ただし、これらの高レベルの概念を単に列挙することは現実的ではなく、危険な可能性があるため、これらの高レベルの概念を取得するのは簡単な作業ではありません。無関係な概念が導入され、モデルのパフォーマンスが妨げられます。

この課題に対処するために、この記事 では、ローカル不変性と固有の優先順位 (固有の優先順位) という 2 つの SBR 関連の帰納的バイアスを採用し、検索スペース # ####。

    本質的な優先度は、ユーザーの現在の関心をよりよく反映するセッション内の最後のいくつかの項目を指します。
  • 局所的不変性を意味します。セッション内の最後のいくつかの項目の相対的な順序はユーザーの興味に影響を与えないため、実際には、異なる数の末尾項目によってグループを形成でき、これらのグループを通じて関連する高レベルの概念を構築できます。
ここで、末尾の項目は固有の優先度に対応し、グループは局所的不変性に対応し、さまざまな数字はこの記事で検討する多層の高レベルの概念を表しています。

マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案提案モデル

そこで、この記事では Atten-Mixer と呼ばれるモデルを提案します。このモデルはさまざまなエンコーダと統合できます。入力セッションの場合、モデルは埋め込み層から各項目の埋め込みを取得します。次にモデルは、結果のグループ表現に線形変換を適用して、マルチレベルのユーザー意図のクエリを生成します。

マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

#ここで、Q1 はインスタンス ビューの注意クエリであり、その他は異なる受容野を持つ高レベルの注意クエリです。ローカル不変情報。次に、モデルは生成されたアテンション クエリを使用して、セッション内の各項目の非表示状態を調べ、最終的なセッション表現を取得します。

#実験と結果マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

オフライン実験では、この記事では 3 つの異なるフィールド セットのデータを使用します。 : Diginetica は電子商取引トランザクション用のデータセット、Gowalla はソーシャル ネットワーク用のデータセット、Last.fm は音楽レコメンデーション用のデータセットです。

#オフライン実験結果マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

(1) 全体比較

著者は、Atten-Mixer を、CNN、RNN ベース、GNN ベース、および読み取りベースに基づく 4 つのベースライン手法と比較しました。

実験結果は、Atten-Mixer が 3 つのデータセットの精度と効率の点でベースライン手法を上回っていることを示しています。

(2) パフォーマンス改善の分析

マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

さらに、著者は Atten-Mixer も埋め込みました。モジュールを SR-GNN および SGNN-HN に組み込み、元のモデルに対するこの方法のパフォーマンス向上効果を検証します。

オフライン実験の結果、Atten-Mixer はすべてのデータセットでモデルのパフォーマンスを大幅に向上させ、特に評価指標の K 値が小さい場合に、Atten-Mixer が元のデータセットに役立つことを示しています。モデルは、より正確でユーザーフレンドリーな推奨事項を生成します。

マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案オンライン実験結果

著者は、2021 年 4 月に Atten-Mixer を大規模な電子商取引オンライン サービスに導入しました。オンライン実験では、マルチレベルの注意混合ネットワーク (Atten-Mixer) がさまざまなオンライン ビジネス指標で良好に機能することが示されています。すべてが大幅な改善を達成しました。

マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

#実験の結論

要約すると、 Atten-Mixer はマルチレベル推論機能を備えており、精度と効率の点でオンラインおよびオフラインで優れたパフォーマンスを発揮します。以下に主な貢献をいくつか示します。

  • 複雑なモデル アーキテクチャは SBR の必須条件ではなく、アテンションベースの読み出し方法の革新的なアーキテクチャ設計は効果的なソリューション プランです。 。
  • マルチレベルの概念の相関関係は、ユーザーの興味を捉えるのに役立ち、帰納的バイアスの使用は、情報が豊富な高次の概念を発見する効果的な方法です。
研究プロセス

最後に、この記事が WSDM2023 の最優秀論文賞にノミネートされた背景には、曲がりくねった展開があることを言及しておく価値があります。記事の著者の一人、UIUCのハオハン・ワン氏は、「この記事は実際、投稿プロセス中にあまりにも単純すぎたため、何度も却下された。幸いなことに、記事の著者は中国の記事を選択しなかった」と紹介した。査読者の好みに合わせて、私は自分自身のシンプルなアプローチに固執し、最終的にその記事を佳作として受賞しました。

マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

以上がマルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! Mar 21, 2024 pm 05:21 PM

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム Apr 26, 2024 am 11:37 AM

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

See all articles