앤트그룹 추천사업에 그래프 머신러닝 적용

이 기사에서는 Ant 추천 시스템에서 그래프 머신러닝을 적용하는 방법을 소개합니다. Ant의 실제 비즈니스에는 지식 그래프, 다른 비즈니스의 사용자 행동 등과 같은 많은 양의 추가 정보가 있습니다. 이러한 정보는 일반적으로 추천 비즈니스에 그래프 알고리즘을 사용하여 이러한 정보와 추천 시스템을 향상시킵니다. 사용자 이익을 표현합니다. 전체 텍스트는 주로 다음 측면에 중점을 둡니다.

• Background
• 그래프 기반 추천
• 소셜 및 텍스트 기반 추천
• 교차 도메인 추천

01 Background

Alipay에는 주요 결제 기능 외에도 허리띠 추천, 펀드 추천, 소비자 쿠폰 추천 등 다양한 추천 시나리오가 있습니다. 다른 추천과 비교하여 Alipay 도메인 내 추천의 가장 큰 차이점은 사용자 행동이 적고 활동성이 낮다는 것입니다. 많은 사용자가 단지 결제를 위해 Alipay를 열고 다른 것에 관심을 두지 않는다는 것입니다. 따라서 추천 네트워크의 UI측면에 대한 기록은 거의 없으며, 활동성이 낮은 대상에 대한 추천에도 중점을 두고 있습니다. 예를 들어 DAU를 높이기 위해 활동성이 낮은 사용자의 허리띠에만 콘텐츠를 배치할 수 있으며, 일반 사용자는 펀드 추천 섹션에서 볼 수 없습니다. 재무 관리가 없거나 재무 관리 지위가 낮은 경우, 거래를 위해 자금을 구매하도록 유도하는 것도 활동이 적은 사용자의 오프라인 소비를 촉진하는 것입니다.

​저활성 사용자의 과거 행동 순서에 대한 정보가 거의 없으며, UI 과거 행동 순서를 직접 기반으로 한 일부 추천 방법은 우리 시나리오에 적합하지 않을 수 있습니다. . 따라서 Alipay 도메인에서 UI 관계 정보를 향상시키기 위해 다음 세 가지 시나리오 정보를 도입했습니다.

• UU 소셜 네트워크의 관계 그래프 관계
• 다른 시나리오의 UI 관계
• 소셜 네트워크의 UU 관계를 통해 활동성이 낮은 사용자 친구의 클릭 선호도를 얻을 수 있으며 동질성을 기반으로 사용자의 클릭 선호도를 얻을 수 있습니다. 그래프 관계는 유사한 항목에 대한 사용자 선호도 정보를 검색하고 확장할 수 있습니다. 마지막으로 교차 도메인 시나리오의 사용자 행동은 현재 시나리오의 추천 작업에도 매우 유용합니다. 02

그래프 기반 추천

많은 추천 시나리오에서 사용자 행동은 드물며, 특히 신규 사용자를 특성화할 때 사용 가능한 행동 정보가 거의 없으므로 일반적으로 소개할 필요가 많은 속성, 컨텍스트, 이미지 등의 보조정보 중에서 여기서 소개하는 것이 지식그래프-지식그래프이다.

1. 기존 과제

​지식 그래프는 알고리즘 추천에 도움이 되는 크고 포괄적인 역사적 전문 지식이지만 여전히 두 가지 문제가 있습니다.

먼저 , 그래프 자체가 이 비즈니스에 맞게 설계되지 않았을 수 있으므로 쓸모없는 정보가 많이 포함되어 있으며 훈련 과정에도 시간이 많이 걸립니다.

일반적인 해결책은 그래프에서 제품과 연결될 수 있는 가장자리만 유지하고 다른 모든 가장자리를 삭제하는 것입니다. 그러나 다른 가장자리도 유용하기 때문에 이로 인해 일부 정보가 손실될 수 있습니다.

두 번째로, 그래프를 보조 정보로 사용할 경우 사용자 선호도를 그래프 내의 가장자리로 집계할 수 있는 방법이 없습니다. 위 그림에서 볼 수 있듯이 사용자 1이 영화 1과 영화 2를 좋아하는 이유는 주연 역할이 동일하기 때문일 수 있고, 사용자 2가 영화 2와 영화 3을 좋아하는 이유는 같은 장르이기 때문일 수 있습니다. 일반 그래프 모델의 UI, II 관계만 사용하여 모델링한다면 사용자와 영화 간의 상관관계만 얻을 수 있을 뿐, 이러한 사용자의 잠재적인 의도를 그래프로 집계할 수 있는 방법은 없습니다.

그래서 우리는 나중에 지도 증류와 지도 정제의 두 가지 문제를 주로 해결하도록 하겠습니다.

2. 기존 방법

① Embedding 기반 모델

먼저 그래프 표현 학습 방법을 사용합니다. 그래프 . 노드는 Embedding으로 변환된 다음 Embedding을 UI 모델에 직접 연결합니다. 이러한 방식은 그래프의 상관관계를 미리 학습하여 Embedding으로 변환하므로 사용자와 지식 에지 간의 유사성 측정이 어렵고, 그래프 증류 및 그래프 정제의 문제를 해결하지 못합니다.

② 경로 기반 모델

경로 기반 방법은 그래프의 지식 가장자리를 기반으로 그래프를 여러 메타 경로로 분해하지만 메타 경로를 구축하는 프로세스에는 전문 지식이 많고, 지식 우위에 대한 사용자의 선호도도 반영되지 않습니다.

3 GCN 기반 모델

GCN 기반 방법은 UI 및 II 관계를 모델링하는 데 일반적으로 Attention 방법을 통해 Edge 유형에 따라 서로 다른 가중치를 적용합니다. 그러나 Edge의 가중치는 Edge 양쪽 끝의 노드 표현에만 관련되며 대상 노드의 표현과는 아무런 관련이 없습니다.

3. Solution

​우리가 제안한 모델은 크게 4가지 부분으로 나누어집니다. 먼저, 그래프 표현 학습을 통해 그래프 표현을 얻고, 지식 의존성 전파를 사용하여 학습합니다. 다양한 에지의 중요도에 대한 그래프 표현을 얻은 다음 증류 모듈을 사용하여 그래프의 에지를 샘플링하고 노이즈를 제거한 다음 조건부 주의를 추가하여 그래프를 개선하고 마지막으로 2타워 모델을 구축하여 결과를 얻습니다.

각 부분의 구체적인 내용은 아래와 같습니다.

① 그래프 표현 학습 레이어

사용합니다 다음은 전통적인 TransH 스펙트럼 표현입니다. 모델에는 그래프에 다대일 및 일대다 간선이 많기 때문입니다. 각 노드는 TransH를 통해 Edge에 해당하는 공간에 매핑되고, 이 공간에서 두 Edge의 유사도를 측정합니다. ㅋㅋㅋ 그리고 그런 다음 다른 것을 추구함으로써 가장자리 공간의 cos 거리는 점의 가중치 집계 그래프 점을 표현하는 역할을 합니다. 그래프의 가장자리에는 노이즈가 많기 때문에 학습한 가중치를 기반으로 대상 하위 그래프에 대한 추가 샘플링 및 샘플링을 수행합니다. 대상 하위 그래프는 더 작은 하위 그래프에 결합된 사용자 및 제품의 2차 하위 그래프입니다.

③ 그래프 표현 학습 레이어

하위 그래프를 얻은 후 사용자와 제품에 주어진 가장자리의 중요성을 측정하기 위해 조건부 관심을 수행합니다. 엣지의 중요성은 크게 두 가지로 나눌 수 있는데, 하나는 엣지 자체가 매우 중요하다는 것이고, 다른 하나는 사용자가 이 엣지에 많은 관심을 갖는다는 점입니다. 엣지 자체의 중요성은 이전 단계의 지식 의존적 주의에서 학습되었습니다. 엣지에 대한 사용자의 중요성은 모든 목표 세트의 표현과 두 끝점의 표현을 결합하여 이루어집니다. edge into an attention 조건부 Attention을 얻은 다음 조건부 Attention을 기반으로 일부 집계를 수행합니다. ㅋㅋㅋ 지도 최적화 동시에 표현 학습 손실 및 권장 사항 시스템의 목표 손실, 알고리즘의 복잡성은 점 및 모서리 수와 선형적으로 관련됩니다.

4. 실험 결과 ① 실험 데이터 세트 및 벤치마크 모델 선정

선택했습니다. 추천 시스템 및 지식 그래프를 위한 일부 데이터 세트 개발 우리 사업의 펀드 추천 데이터 세트의 기준선에는 주로 규칙성 기반 CKE 방식, 행렬 분해 기반 NMF 방식, 경로 기반 이종 그래프 방식 RippleNet 및 GCN 기반 KGAT가 포함됩니다.

②주의 시각화

왼쪽의 Knowledge attention에서 각 가장자리의 값은 오른쪽 상단 모서리에 있는 U₅₃₂과 관련이 있습니다. i ₁₆₇₈의 값은 매우 작으므로 나중에 이 가장자리를 샘플링하기가 어렵습니다. 오른쪽 두 사진의 유저는 둘 다 U₀이지만, 제품이 달라서 전체 사진의 무게감이 전혀 다릅니다. 예측 중 그리고 U0- i780_{의 상관관계가 완전히 다르고} U0- i의 가중치 의 가장 오른쪽 경로 2466은 U0-i₂₄₆₆ 을 예측하기 때문에 더 큽니다. 섹스 중에는 가장 오른쪽 경로가 더 중요합니다. 3모델 평가​기본 모델보다 훨씬 우수한 Top-K 추천 및 CTR 클릭 작업에 대한 모델 효과를 측정했습니다. 온라인 펀드 추천 A/B 테스트 실험 역시 효율성 향상을 가져온다. 마지막으로 절제 실험을 진행했는데, 그 결과 조건부 주의나 지식 주의 모델을 제거하는 효과가 감소하는 것으로 나타나 개선 효과가 입증되었습니다. 03소셜과 텍스트를 기반으로 한 추천

여기서 소셜과 텍스트를 기반으로 한 추천은 전통적인 의미의 추천 시나리오가 아니라 주로 운영진이 사용자 의도를 이해하고 콘텐츠를 생성하도록 돕기 위한 것입니다. 사용자 성장을 안내하는 새로운 콘텐츠와 새로운 광고. 예를 들어, 거들 추천의 표지를 디자인하는 방법은 사용자의 의도를 완전히 이해한 후에야 운영자가 사용자의 심리적 기대에 맞는 콘텐츠를 디자인할 수 있다는 것입니다.

1. 기존 과제

자연스러운 방법은 사용자의 의도와 제품에 대한 의도의 분포를 측정하는 것입니다. 사용자의 의도를 분해합니다. 그러나 실제로는 사용자 클릭이 드물고, 특히 타겟 고객이 저활성 사용자이고 제품 클릭이 롱테일 분포를 따르기 때문에 사용자의 관심과 의도를 파악하기가 어렵습니다.

2. 솔루션

먼저 UU 관계와 UI 관계를 모두 GNN에 추가하여 사용자의 클릭 행동을 학습하고 측정합니다. 그런 다음 학습된 사용자 의도를 사용하여 근사치를 만듭니다. 분포에서 전통적인 주제 모델의 사전 분포는 Dirichlet 분포입니다. 여기서 사용하는 것은 Dirichlet 분포와 매우 유사하며 일부 무거운 매개변수화 작업을 통해 사용할 수 있습니다. 미분 가능.

​사용자 간의 관계를 학습한 후 다음 단계는 말뭉치 간의 관계를 학습하는 것입니다. 위 그림에는 텍스트 설명이 포함된 작은 프로그램이 있습니다. 이 프로그램은 스킵그램 모델을 사용하여 항목과 긍정 및 부정 샘플 간의 유사성을 계산하고, 단어의 유사성을 얻고, 항목의 유사성을 매핑합니다. DNN을 통해 사용자 의도 표현에 대한 단어를 입력하고 마지막으로 KL 다이버전스 제약 분포를 원하는 형식으로 조정합니다.

3. 실험 결과

우리의 데이터 세트는 약 50만명의 사용자, 9206개의 항목 및 소셜 네트워크를 포함한 2억명의 사용자 클릭 기록을 포함하는 7일 연속 사용자 클릭 데이터입니다. 각 사용자는 평균 14-15개의 인접 노드를 갖습니다.

오프라인 실험 테스트와 온라인 실험 테스트를 각각 진행하여 다양한 주제에 대한 사용자 간의 유사성과 의미 간의 유사성을 측정했습니다. 온라인 실험은 우리 모델에 의해 예측된 사용자 의도를 작업에 피드백하고 사용자 의도에 따라 온라인 권장 사항을 작성하는 작업 설계 설명 텍스트 및 디스플레이 페이지를 제공합니다. 작업 중간에 일부 재료가 생산되기 때문에 전체 모델의 실험 링크가 상대적으로 길 수 있습니다. 온라인 A/B 실험의 목표는 두 부분으로 나누어집니다. 우리의 모델 피드백과 다른 부분은 역사적 전문가의 경험을 활용하는 것입니다. 실험 결과, 우리 모델은 이전에 비해 오프라인과 온라인 실험 모두에서 크게 개선되었음을 보여줍니다.

04크로스 도메인 기반 추천

​저희 추천 대상은 태그도 없고, 특성도 없고, 사용한 적도 없는 저활성 사용자입니다. 알리페이. 위 그림에서 먼저 사용자 간의 유사성을 분석했는데 파란색은 낯선 사람과의 행동 유사성을 나타내고 빨간색은 친구와의 행동 유사성을 나타냅니다. 행동 정보는 사용자 정보에 대한 보충 자료로 사용될 수 있습니다. 그런 다음 활성 사용자와 비활성 사용자의 친구 수를 분석한 결과 활성 사용자의 친구 수가 비활성 사용자의 친구 수보다 훨씬 많은 것을 확인하여 활성 사용자의 클릭 정보를 비활성 사용자로 이전할 수 있는지 궁금했습니다. 친구 정보. 보조 추천.

​그래서 우리 모델의 핵심 아이디어는 활성 사용자와 비활성 사용자의 기능 공간을 정렬하는 것입니다. 비활성 사용자는 많은 기능을 사용하기 때문입니다. 누락되어 있으므로 활성 사용자의 기능 공간과 본질적으로 다릅니다. 여기서는 GNN을 사용하여 사용자 표현을 학습하고 사용자 표현을 공통 공간에 매핑합니다. 위 그림에서 볼 수 있듯이 CD-GNN 구조의 상위 계층은 우리가 예측하려는 활성 사용자이고, 하위 계층은 우리가 예측하려는 비활성 사용자입니다. 두 개의 GNN을 학습한 후 매핑됩니다. 표현 측면에서, 우리는 최종적으로 활성 사용자와 비활성 사용자 모두에 대한 레이블 예측을 수행합니다.

구체적으로 그래프 모델에는 소셜 네트워크와 사용자 페이지 네트워크가 포함되어 있으며 두 네트워크는 서로 다르게 집계되며 도메인 불변 레이어를 통해 활성 사용자와 비활성 사용자가 동일한 공간에 매핑됩니다. = 소스 손실+타겟 손실-도메인 불변 손실. 온라인 A/B 실험 결과에 따르면 우리 모델은 GCN에 비해 CTR이 크게 향상되었으며 행동이 희박할 때도 우리 모델은 여전히 ​​좋은 결과를 얻을 수 있습니다.

위는 최근 우리 팀에서 발표한 결과 중 일부입니다. 주로 위 세 기사의 작업에 대해 이야기하고 있습니다.

05Interactive Q&A

Q1: CD-GNN 레이어의 매개변수는 공유되나요?

A1: ID 특성 등 활성 사용자의 일부 특성이 비활성 사용자에 비해 훨씬 많기 때문에 공유하지 않습니다. 여기에서 공유하세요.

Q2: 크로스 도메인 추천 문제에서 비활성 사용자에 대한 타겟 라벨 수가 매우 적어서 모델이 비활성 사용자의 타겟 임베딩을 제대로 학습하지 못하는 문제가 발생합니다.

A2: 미리 학습된 일부 방법을 사용하여 일부 표현 정보를 미리 추가하거나 일부 방법을 통해 누락된 기능을 보완할 수 있습니다. 그래프 모델을 구축하는 동안 기능을 보완할 수 있으며, 단순히 이웃 기능을 집계하는 대신 기능 재구성과 유사한 손실을 추가하면 이 문제를 해결하는 데 도움이 될 수 있습니다.

Q3: 정밀한 리허설 장면에서 최초의 그래프 기반 방식이 구현되었나요? GNN은 일반적으로 몇 레벨을 달성합니까?

A3: 우리의 펀드 추천 섹션에서는 목록이 추천되고 그 아래에 수백 개의 정보가 있을 수 있는 다른 시나리오와 달리 사용자는 이 5개의 펀드를 한 눈에 볼 수 있습니다. 재배치의 영향은 그리 크지 않습니다. 우리 모델의 결과는 개선된 모델인 선으로 직접 연결됩니다. 일반적으로 3단계 GNN은 일부 작업에서는 크게 개선되지 않고 온라인 지연이 너무 깁니다.

위 내용은 앤트그룹 추천사업에 그래프 머신러닝 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!