マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案
レコメンドシステムはインテリジェントな情報フィルタリング技術として、実際のシナリオで広く使用されています。ただし、レコメンデーション システムの成功は、多くの場合、ユーザーの個人情報や機密情報が含まれる可能性のある大量のユーザー データに基づいています。プライバシー保護によってユーザー情報が制限されている場合、またはユーザー情報を取得できないシナリオでは、従来のレコメンデーション システムが適切に機能しないことがよくあります。そのため、プライバシーやセキュリティを確保しつつ、信頼できるレコメンドシステムをいかに構築するかが喫緊の課題となっている。
近年、ユーザーが自分のプライバシーにますます注意を払うようになり、ログイン操作を行わずにオンライン プラットフォームを使用するユーザーが増加する傾向にあります。 、これにより、匿名のセッションベースの推奨事項も重要な研究の方向性となります。最近、香港科技大学、北京大学、マイクロソフト アジア リサーチなどの研究者らが、マルチレベルのユーザー意図を効率的に利用する新しいモデル Atten-Mixer を提案しました。この研究論文は、WSDM2023 で最優秀論文賞の佳作を受賞しました。
紙のリンク : https://dl.acm.org/doi/abs/10.1145/3539597.3570445
ただし、これらのモデルはパフォーマンスが向上していますモデルの複雑さの指数関数的な増加に比べて、ベンチマーク データセットの使用量は限られています。この現象に直面して、この論文は次のような疑問を提起します: これらの GNN ベースのモデルは SBR にとって単純すぎるのでしょうか、それとも複雑すぎるのでしょうか?
##予備分析
##この質問に答えるには、著者 既存の GNN ベースの SBR モデルを分解し、SBR タスクにおけるその役割を分析してみます。
# 一般的に、典型的な GNN ベースの SBR モデルは 2 つの部分に分解できます。
# (1) GNN モジュール。パラメーターは、グラフ畳み込みの伝播重みと、元の埋め込みとグラフ畳み込み出力を融合するための GRU 重みに分割できます。
(2) 読み出しモジュール。パラメータには、長期表現を生成するためのアテンション プーリングの重みと、予測用のセッション表現を生成するための変換の重みが含まれます。
パラメータの密度比とは、パラメータの重みに含まれる要素の総数に対する、特定のしきい値を超える要素の数の比率を指します。その値は、パラメータの重要性を測定するために使用できます。パラメータ。
# #GNNモジュール。
トレーニングが安定すると、密度比は 0 になる傾向があります。
トレーニングが進むにつれて、
他のデータセットや他の GNN ベースの SBR モデルでも同じ傾向が観察できます。
したがって、著者らは、GNN モジュールの多くのパラメータがトレーニング プロセス中に冗長であることを発見しました。これに基づいて、著者は、SBR の次のよりシンプルで効果的なモデル設計ガイドラインを提案します。
(1) 過度の複雑さを追求しない GNN 設計、作者は、
; (2) モデル設計者は、もっと多くのことを行う必要があります。
##注意ベースの読み出しモジュールに焦点を当てます。
注意プーリング重みパラメータは高い密度比を維持するため、著者は、より高度な注意ベースの読み出し方法を使用する必要があると推測しています。より有益になります。
この記事では GNN の伝播部分への依存を放棄しているため、Readout モジュールはモデル推論に対してより多くの責任を負う必要があります。
インスタンス ビューに基づく既存の Readout モジュールの推論機能が限られていることを考慮して、この記事では、Readout モジュールのより強力な推論機能を設計する必要があります。 。
#より強力な推論機能を備えた Readout モジュールを設計する方法
#精神病理学の研究によると、人間の推論は本質的に多層の情報処理プロセスであるとされています。
たとえば、アリスが扱う基礎的な商品を包括的に考慮することで、人間は、アリスが準備する予定があるかどうかなど、より高いレベルの概念を得ることができます。結婚式や新居の装飾に。アリスが結婚式を計画している可能性が高いと判断した後、人間は、壁画などの花束に関連した装飾品ではなく、ウェディングバルーンなどの花束に関連した結婚式の品物を検討します。
このマルチレベル推論戦略をレコメンデーション システムに採用すると、ユーザー全体を考慮することで、大規模な検索スペースを整理し、局所的な最適なソリューションを回避できます。行動傾向はより満足のいく解決策に収束します。
# したがって、この記事では、この多層推論メカニズムを
# Readout モジュール設計に導入したいと考えています。 # 。
ただし、これらの高レベルの概念を単に列挙することは現実的ではなく、危険な可能性があるため、これらの高レベルの概念を取得するのは簡単な作業ではありません。無関係な概念が導入され、モデルのパフォーマンスが妨げられます。
この課題に対処するために、この記事 では、ローカル不変性と固有の優先順位 (固有の優先順位) という 2 つの SBR 関連の帰納的バイアスを採用し、検索スペース # ####。
- 本質的な優先度は、ユーザーの現在の関心をよりよく反映するセッション内の最後のいくつかの項目を指します。
- 局所的不変性を意味します。セッション内の最後のいくつかの項目の相対的な順序はユーザーの興味に影響を与えないため、実際には、異なる数の末尾項目によってグループを形成でき、これらのグループを通じて関連する高レベルの概念を構築できます。
提案モデル
#実験と結果
#オフライン実験結果
(1) 全体比較
著者は、Atten-Mixer を、CNN、RNN ベース、GNN ベース、および読み取りベースに基づく 4 つのベースライン手法と比較しました。
実験結果は、Atten-Mixer が 3 つのデータセットの精度と効率の点でベースライン手法を上回っていることを示しています。
(2) パフォーマンス改善の分析
さらに、著者は Atten-Mixer も埋め込みました。モジュールを SR-GNN および SGNN-HN に組み込み、元のモデルに対するこの方法のパフォーマンス向上効果を検証します。
オフライン実験の結果、Atten-Mixer はすべてのデータセットでモデルのパフォーマンスを大幅に向上させ、特に評価指標の K 値が小さい場合に、Atten-Mixer が元のデータセットに役立つことを示しています。モデルは、より正確でユーザーフレンドリーな推奨事項を生成します。
オンライン実験結果
著者は、2021 年 4 月に Atten-Mixer を大規模な電子商取引オンライン サービスに導入しました。オンライン実験では、マルチレベルの注意混合ネットワーク (Atten-Mixer) がさまざまなオンライン ビジネス指標で良好に機能することが示されています。すべてが大幅な改善を達成しました。
#実験の結論
要約すると、 Atten-Mixer はマルチレベル推論機能を備えており、精度と効率の点でオンラインおよびオフラインで優れたパフォーマンスを発揮します。以下に主な貢献をいくつか示します。
- 複雑なモデル アーキテクチャは SBR の必須条件ではなく、アテンションベースの読み出し方法の革新的なアーキテクチャ設計は効果的なソリューション プランです。 。
- マルチレベルの概念の相関関係は、ユーザーの興味を捉えるのに役立ち、帰納的バイアスの使用は、情報が豊富な高次の概念を発見する効果的な方法です。
最後に、この記事が WSDM2023 の最優秀論文賞にノミネートされた背景には、曲がりくねった展開があることを言及しておく価値があります。記事の著者の一人、UIUCのハオハン・ワン氏は、「この記事は実際、投稿プロセス中にあまりにも単純すぎたため、何度も却下された。幸いなことに、記事の著者は中国の記事を選択しなかった」と紹介した。査読者の好みに合わせて、私は自分自身のシンプルなアプローチに固執し、最終的にその記事を佳作として受賞しました。
以上がマルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。
