추천 시스템은 사용자의 개인 취향에 따라 맞춤형 추천을 제공하므로 정보 과부하 문제를 해결하는 데 중요합니다. 최근 몇 년 동안 딥 러닝 기술은 추천 시스템 개발을 크게 촉진하고 사용자 행동 및 선호도에 대한 통찰력을 향상시켰습니다.
그러나 전통적인 지도 학습 방법은 데이터 희소성 문제로 인해 실제 적용에서 어려움에 직면해 있으며, 이로 인해 사용자 성과를 효과적으로 학습하는 능력이 제한됩니다.
이 문제를 보호하고 극복하기 위해 데이터 고유의 구조를 사용하여 감독 신호를 생성하고 레이블이 지정된 데이터에 전적으로 의존하지 않는 SSL(자기 지도 학습) 기술을 학생에게 적용합니다.
이 방법은 레이블이 지정되지 않은 데이터에서 의미 있는 정보를 추출하고 데이터가 부족한 경우에도 정확한 예측 및 추천을 할 수 있는 추천 시스템을 사용합니다.
기사 주소: https://arxiv.org/abs/2404.03354
오픈 소스 데이터베이스: https://github.com/HKUDS/Awesome-SSLRec-Papers
오픈 소스 코드 라이브러리: https://github.com/HKUDS/SSLRec
이 기사에서는 추천 시스템용으로 설계된 자기 지도 학습 프레임워크를 검토하고 170개 이상의 관련 논문에 대한 심층 분석을 수행합니다. 우리는 SSL이 다양한 시나리오에서 추천 시스템을 어떻게 향상시킬 수 있는지에 대한 포괄적인 이해를 얻기 위해 9가지 다양한 애플리케이션 시나리오를 탐색했습니다.
각 도메인에 대해 대조 학습, 생성 학습, 적대 학습을 포함한 다양한 자기 지도 학습 패러다임을 자세히 논의하여 SSL이 다양한 상황에서 추천 시스템의 성능을 어떻게 향상시킬 수 있는지 보여줍니다.
추천 시스템에 대한 연구는 협업 필터링, 시퀀스 추천, 다중 행동 추천 등과 같은 다양한 시나리오의 다양한 작업을 다룹니다. 이러한 작업에는 서로 다른 데이터 패러다임과 목표가 있습니다. 여기서는 먼저 다양한 추천 작업에 대한 구체적인 변형을 다루지 않고 일반적인 정의를 제공합니다. 추천 시스템에는 
로 표시된 사용자 세트와 
로 표시된 항목 세트의 두 가지 주요 세트가 있습니다.
그런 다음 상호작용 매트릭스 
를 사용하여 사용자와 항목 사이에 기록된 상호작용을 나타냅니다. 이 행렬에서 행렬의 항목 Ai,j에는 사용자 ui가 항목 vj와 상호작용한 경우 값 1이 할당되고, 그렇지 않으면 0이 할당됩니다.
상호작용의 정의는 다양한 상황과 데이터 세트(예: 영화 감상, 전자상거래 사이트 클릭, 구매)에 맞게 조정될 수 있습니다.
또한 다양한 추천 작업에는 다양한 보조 관찰 데이터, 기록 및 대응 관계가 있습니다.
그리고 소셜 추천에는 X에는 우정과 같은 사용자 수준의 관계도 포함됩니다. 위의 정의를 기반으로 추천 모델은 사용자 u와 항목 v 사이의 선호도 점수를 정확하게 추정하는 것을 목표로 예측 함수 f(⋅)를 최적화합니다.
선호도 점수 yu,v는 사용자 u와 항목 v를 나타냅니다. 항목 v 상호 작용 가능성.
이 점수를 바탕으로 추천 시스템은 예상 선호도 점수를 바탕으로 항목의 순위 목록을 제공하여 각 사용자에게 상호작용되지 않은 항목을 추천할 수 있습니다. 리뷰에서는 다양한 추천 시나리오에서 (A,X)의 데이터 형식과 그 안에서 자기 지도 학습의 역할을 더 자세히 살펴봅니다.
지난 몇 년 동안 심층 신경망은 지도 학습에서 좋은 성능을 발휘했으며, 이는 컴퓨터 비전, 자연어 처리, 추천 시스템 등 다양한 분야에 반영되었습니다. 그러나 레이블이 지정된 데이터에 대한 의존도가 높기 때문에 지도 학습은 추천 시스템에서 흔히 발생하는 문제인 레이블 희소성을 처리하는 데 어려움을 겪습니다.
이러한 한계를 해결하기 위해 데이터 자체를 학습된 레이블로 활용하는 자기 지도 학습이 유망한 방법으로 등장했습니다. 추천 시스템의 자기 지도 학습에는 대조 학습, 생성 학습, 적대 학습이라는 세 가지 패러다임이 포함됩니다.
주요 자기 지도 학습 방법인 대조 학습의 주요 목표는 데이터를 통해 강화된 다양한 관점 간의 일관성을 최대화하는 것입니다. 추천 시스템의 대조 학습에서는 다음과 같은 손실 함수를 최소화하는 것이 목표입니다.
E* ˚ Ω*는 대조 뷰 생성 작업을 나타내고, 대조 학습을 기반으로 하는 다양한 추천 알고리즘을 나타냅니다. 생성 과정이 다릅니다. 각 뷰의 구성은 데이터 증대 프로세스 Ω*(증강 그래프의 노드/에지가 포함될 수 있음)와 임베딩 인코딩 프로세스 E*로 구성됩니다.
최소화 
의 목표는 뷰 간의 일관성을 최대화하는 강력한 인코딩 기능을 얻는 것입니다. 이러한 관점 간 일관성은 상호 정보 최대화 또는 인스턴스 차별과 같은 방법을 통해 달성될 수 있습니다.
생성 학습의 목표는 데이터의 구조와 패턴을 이해하여 의미 있는 표현을 학습하는 것입니다. 누락되거나 손상된 입력 데이터를 재구성하는 심층 인코더-디코더 모델을 최적화합니다.
인코더 
는 입력에서 잠재 표현을 생성하는 반면 디코더 
는 인코더 출력에서 원본 데이터를 재구성합니다. 목표는 다음과 같이 재구성된 데이터와 원본 데이터의 차이를 최소화하는 것입니다.
여기서 Ω는 마스킹이나 섭동과 같은 연산을 나타냅니다. D˚E는 출력을 재구성하기 위해 인코딩 및 디코딩하는 과정을 나타냅니다. 최근 연구에서는 인코더-디코더 설정 없이 데이터를 효율적으로 재구성하는 디코더 전용 아키텍처도 도입했습니다. 이 접근 방식은 재구성을 위해 단일 모델(예: Transformer)을 사용하며 일반적으로 생성 학습을 기반으로 하는 직렬화된 권장 사항에 적용됩니다. 손실 함수 
의 형식은 연속 데이터의 평균 제곱 오류 및 범주형 데이터의 교차 엔트로피 손실과 같은 데이터 유형에 따라 다릅니다.
Adversarial Learning은 생성기 G(⋅)를 사용하여 고품질 출력을 생성하고 판별자 Ω(⋅)를 포함하는 훈련 방법입니다. 판별자는 주어진 샘플이 실제이거나 생성되었습니다. 생성 학습과 달리 적대적 학습은 판별자를 속이기 위해 고품질 출력을 생성하는 생성자의 능력을 향상시키기 위해 경쟁적 상호 작용을 사용하는 판별자를 포함한다는 점에서 다릅니다.
따라서 적대적 학습의 학습 목표는 다음과 같이 정의할 수 있습니다.
여기서 변수 x는 기본 데이터 분포에서 얻은 실제 샘플을 나타내고, 
는 생성기 G(⋅)에 의해 생성된 합성 샘플을 나타냅니다. 훈련 중에 생성자와 판별자는 모두 경쟁적인 상호 작용을 통해 능력을 향상시킵니다. 궁극적으로 생성기는 다운스트림 작업에 유용한 고품질 출력을 생성하기 위해 노력합니다.
이 섹션에서는 추천 시스템에서 자기 지도 학습을 적용하기 위한 포괄적인 분류 시스템을 제안합니다. 앞서 언급했듯이 자기지도 학습 패러다임은 대조 학습, 생성 학습, 적대 학습의 세 가지 범주로 나눌 수 있습니다. 따라서 우리의 분류 시스템은 이 세 가지 범주를 기반으로 구축되어 각 범주에 대한 더 깊은 통찰력을 제공합니다.
대조 학습(CL)의 기본 원리는 서로 다른 관점 간의 일관성을 최대화하는 것입니다. 따라서 대조 학습을 적용할 때 고려해야 할 세 가지 주요 구성 요소인 뷰 생성, 일관성을 최대화하기 위한 뷰 페어링, 일관성 최적화로 구성된 뷰 중심 분류법을 제안합니다.
보기 생성. 모델이 중점을 두는 다양한 데이터 측면을 강조하는 뷰를 만듭니다. 글로벌 협업 정보를 결합하여 글로벌 관계를 처리하는 추천 시스템의 기능을 향상하거나 무작위 노이즈를 도입하여 모델의 견고성을 향상시킬 수 있습니다.
입력 데이터(예: 그래프, 시퀀스, 입력 기능)의 향상을 데이터 수준 뷰 생성으로 간주하고, 추론 중 잠재 기능의 향상을 기능 수준 뷰 생성으로 간주합니다. 우리는 기본 데이터 수준부터 신경 모델 수준까지 뷰 생성 기술을 포함하는 계층적 분류 시스템을 제안합니다.
페어 샘플링. 뷰 생성 프로세스는 데이터의 각 샘플에 대해 두 개 이상의 서로 다른 뷰를 생성합니다. 대조 학습의 핵심은 특정 관점의 정렬을 최대화하는 것(즉, 더 가깝게 만드는 것)과 동시에 다른 관점을 밀어내는 것입니다.
이를 위해서는 더 가까워져야 하는 양성 샘플 쌍을 식별하고 음성 샘플 쌍을 형성하는 다른 뷰를 식별하는 것이 핵심입니다. 이 전략을 쌍 샘플링이라고 하며 주로 두 가지 쌍 샘플링 방법으로 구성됩니다.
대조적 대물렌즈. 대조 학습의 학습 목표는 양성 샘플 쌍 간의 상호 정보를 최대화하는 것이며, 이는 결과적으로 학습 추천 모델의 성능을 향상시킬 수 있습니다. 상호 정보를 직접적으로 계산하는 것은 불가능하기 때문에 일반적으로 대조 학습에서는 실현 가능한 하한을 학습 목표로 사용합니다. 그러나 긍정적인 쌍을 더 가깝게 만들려는 명시적인 목표도 있습니다.
생성 자기 지도 학습에서 주요 목표는 실제 데이터 분포의 우도 추정을 최대화하는 것입니다. 이를 통해 학습되고 의미 있는 표현이 데이터의 기본 구조와 패턴을 캡처한 다음 다운스트림 작업에서 사용할 수 있습니다. 우리의 분류 시스템에서는 다양한 생성 학습 기반 추천 방법을 구별하기 위해 생성 학습 패러다임과 생성 목표라는 두 가지 측면을 고려합니다.
생성 학습 패러다임. 추천의 맥락에서 생성 학습을 사용하는 자기 지도 방법은 세 가지 패러다임으로 분류될 수 있습니다.
세대 대상. 생성 학습에서 어떤 데이터 패턴이 생성된 레이블로 간주되는지는 의미 있는 보조 자기 지도 신호를 가져오기 위해 고려해야 할 또 다른 문제입니다. 일반적으로 생성 목표는 방법과 권장 시나리오에 따라 다릅니다. 예를 들어, 시퀀스 추천에서 생성 대상은 시퀀스의 항목 간 관계를 시뮬레이션할 목적으로 시퀀스의 항목이 될 수 있습니다. 대화형 그래프 추천에서 생성 대상은 그래프의 높은 수준의 토폴로지 상관 관계를 캡처하는 것을 목표로 하는 그래프의 노드/에지가 될 수 있습니다.
추천 시스템의 적대 학습에서 판별자는 생성된 가짜 샘플과 실제 샘플을 구별하는 데 중요한 역할을 합니다. 생성 학습과 유사하게, 우리가 제안하는 분류 시스템은 학습 패러다임과 차별 목표:
Adversarial Learning Paradigm이라는 두 가지 관점에서 추천 시스템의 적대적 학습 방법을 다룹니다. 추천 시스템에서 적대적 학습은 판별기의 판별 손실이 차별화 가능한 방식으로 생성기로 역전파될 수 있는지 여부에 따라 두 가지 서로 다른 패러다임으로 구성됩니다.
차별대상. 다른 추천 알고리즘으로 인해 생성기는 다른 입력을 생성한 다음 판별을 위해 판별자에 입력됩니다. 이 프로세스는 현실에 가까운 고품질 콘텐츠를 제작할 수 있는 생성자의 능력을 향상시키는 것을 목표로 합니다. 특정 차별 목표는 특정 추천 작업을 기반으로 설계되었습니다.
이 리뷰에서는 9가지 추천 시나리오에서 다양한 자기 지도 학습 방법의 설계에 대해 심도 있게 논의합니다. 이 9가지 추천 시나리오는 다음과 같습니다. 자세한 내용은 기사를 참조하세요):
이 기사에서는 170개 이상의 논문에 대한 심층 분석을 통해 추천 시스템에서 자기 지도 학습(SSL) 적용에 대한 포괄적인 검토를 제공합니다. 우리는 9가지 추천 시나리오를 다루는 자기 지도 분류 시스템을 제안하고, 대조 학습, 생성 학습 및 적대 학습의 세 가지 SSL 패러다임을 자세히 논의하고 기사에서 향후 연구 방향에 대해 논의했습니다.
우리는 데이터 희소성을 처리하고 추천 시스템의 성능을 향상시키는 데 있어 SSL의 중요성을 강조하고 대규모 언어 모델을 추천 시스템, 적응형 동적 추천 환경에 통합하고 SSL 패러다임의 이론적 토대를 구축하는 가능성을 지적합니다. .연구방향. 우리는 이 검토가 연구자에게 귀중한 자원을 제공하고, 새로운 연구 아이디어에 영감을 주며, 추천 시스템의 추가 개발을 촉진할 수 있기를 바랍니다.
위 내용은 170개의 '자기 지도 학습' 추천 알고리즘을 검토한 HKU가 SSL4Rec를 출시했습니다. 코드와 데이터베이스는 완전 오픈 소스입니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
