웨이보는 왜 중독성이 있나요? 숨은 추천 알고리즘 복호화

2021년 7월 13일, 하루 고생한 청년들은 누워서 휴대폰을 꺼내 익숙한 샤오포잔 앱을 열고, 클릭 한 번으로 좋아하는 호스트의 최신 영상에 접속하려 합니다.

그 결과 갑자기 시야가 어두워졌습니다.

1년 후, 스테이션 B는 마침내 비밀을 밝혔습니다: "음모 0".

그런데 이 웨이보가 엄청난 이용자 유입에도 불구하고 왜 망하지 않았는지 생각해보신 적 있으신가요?

AI와 웨이보의 관계는 무엇인가요?

이 미스터리를 풀기 전에 먼저 인공지능 개발부터 시작해야 합니다.

7월 27일, 중국 인터넷 사회가 주도하고 웨이보와 시나 뉴스가 주최하는 "통합 생태와 가치 공동 창조" 2022 뉴 와이즈 컨퍼런스가 성공적으로 개최되었습니다.

"지능이 모든 것을 주도합니다: AI는 만물 인터넷의 가속화된 도래를 촉진합니다"라는 주제에서 Sina Mobile CEO이자 Sina AI 미디어 연구소 소장인 Wang Weibo COO는 "클라우드가 모든 것을 강화합니다"라는 주제로 연설했습니다. 디지털 인텔리전스 기술의 통합 및 응용' '마이크로블로그의 복잡한 비즈니스 시나리오에 대한 능력'에 대한 기조연설.

Wang Wei는 머신러닝의 개발 역사를 되돌아보면 AI의 전반적인 개발 추세를 알 수 있다고 말했습니다. 훈련 데이터의 대규모 정량화 및 다양화, 복잡성 및 AI 모델의 복잡성 컴퓨팅 성능의 일반화, 효율성 및 규모.

첫 번째는 다중 모드 데이터 융합입니다.

5G의 급속한 발전과 함께 온라인 콘텐츠에서 이미지와 동영상 형태의 모달 콘텐츠가 차지하는 비중이 점점 높아지고 있어 모달 융합이 매우 필요합니다.

웨이보의 경우 텍스트, 사진, 동영상의 멀티모달 융합을 동시에 수행할 수 있다면 이 웨이보의 내용을 더 잘 이해할 수 있습니다.

둘째, 초대형 그래프 컴퓨팅입니다.

다른 기계 학습 모델과 비교할 때 초대형 그래프 컴퓨팅에는 특별한 이점이 있습니다. 즉, 네트워크에서 정보 전송을 통해 정보의 흐름, 집계 및 통합을 촉진합니다.

예를 들어, 행동이 거의 없는 초기 사용자의 경우 팔로우 목록에 있는 사람들과 이 사람들이 게시한 콘텐츠를 통한 정보 전파를 통해 사용자의 관심사를 추론할 수 있습니다.

세 번째는 AI가 개발한 덤벨 모드입니다.

현재 AI 연구개발의 초점은 슈퍼모델의 대형화와 모델 소형화 기술입니다.

우리 모두는 모델 매개변수 규모가 점점 더 커지면서 모델 효과가 점점 더 좋아지고 고정밀 모델이 계속 증가하고 있다는 것을 알고 있습니다. 예를 들어 Google의 Bert가 2018년에 처음 나왔을 때입니다. , 모델 모수 규모는 3억으로 그리 큰 수치는 아니지만, 이후 이 수치는 급속히 증가하고 있습니다.

OpenAI가 개발한 GPT-2 모델의 매개변수 크기는 15억개, GPT-3 모델의 매개변수 크기는 1750억개이며, 2021년 Google이 출시한 Switch Transformer에서는 매개변수 크기가 1.6에 이르렀습니다. 일조.

한편, 모델이 클수록 효과는 좋지만, 모델이 너무 크기 때문에 실제 적용이 불가능할 때도 있습니다. 따라서 연구 개발의 또 다른 초점은 모델 증류, 모델 가지치기 및 기타 기술과 같은 대형 모델을 소형화하고 경량화하는 것입니다.

넷째, AI 모델은 전문 모델에서 일반 모델로 이동하고 있습니다.

Google은 2021년 하반기에 Pathways 모델 프레임워크를 공개했습니다. 일반적인 대형 모델을 구축하여 "하나의 모델로 수천만 가지 일을 할 수 있다"는 목표를 달성하기 위해 이 아이디어를 처음 제안했습니다.

구체적인 아이디어는 다양한 작업 데이터가 입력된 후 라우팅 알고리즘을 통해 신경망 경로의 일부가 선택되어 모델 출력 계층에 도달한다는 것입니다. 다양한 작업에는 매개변수 공유와 작업별 모델 매개변수가 모두 있습니다.

10억 개의 노드 + 100억 개의 모서리로 구성된 매우 큰 그래프

왜 오랫동안 머신러닝에 대해 이야기해 오셨나요? 왜냐하면 다음에는 “Weibo 추천 추천 시스템”이 나올 것이기 때문입니다.

우리 모두 알고 있듯이 중국 최대 소셜 미디어 네트워크인 Weibo의 현재 월간 활성 사용자는 5억 8,200만 명에 달했습니다! 이러한 대규모 사용자 규모는 필연적으로 Weibo의 네트워크 환경을 매우 복잡하게 만들 것입니다.

높은 적시성 및 다양한 콘텐츠와 함께 오늘날의 주요 인터넷 이벤트는 Weibo에서 즉시 폭발적으로 증가할 것입니다.

또한 Weibo는 다양한 시나리오에 직면하고 관계 흐름, 핫스팟 흐름, 비디오 흐름 등 여러 시나리오에서 사용자에게 관심 있는 콘텐츠를 배포해야 합니다.

손가락 없이는 살 수 있지만 휴대폰 없이는 살 수 없습니다.

복잡한 비즈니스 시나리오에 직면한 Weibo는 AI와 빅 데이터를 어떻게 활용하여 적응할 수 있는 추천 시스템을 만듭니다. 변화하는 상황에?

Wang Wei는 Weibo 추천 시스템이 콘텐츠 이해, 사용자 이해, 추천 시스템의 세 부분으로 구성되어 있다고 소개했습니다.

우선 내용 이해입니다.

Weibo가 말하는 내용을 이해하려면 단순히 텍스트 내용을 이해하는 것만으로는 충분하지 않습니다. 블로그 게시물, 사진, 동영상 및 기타 미디어 정보를 통합하려면 다중 모드 이해 기술을 사용해야 합니다.

이를 위해 Weibo는 "대조 학습"을 통해 자체적인 Weibo 다중 모드 사전 훈련 모델을 훈련시켰으며, 이 자기 지도 학습 방법을 사용하여 다중 모드 사전 훈련을 수행했습니다.

아래 예는 Weibo가 자체 "주제"를 사용하여 훈련 데이터를 자동으로 구성하는 방법을 보여줍니다.

예를 들어, "Rashford in training"이라는 두 개의 Weibo 게시물을 긍정적인 예로 선택하고, 서로 다른 주제를 가진 일부 Weibo 게시물을 부정적인 예로 무작위로 선택하여 자동으로 훈련 데이터를 구성할 수 있습니다.

특정 Weibo의 경우 텍스트 콘텐츠는 Bert로 인코딩되고, 이미지와 동영상 콘텐츠는 ViT로 인코딩된 후 융합 서브 네트워크를 통해 정보가 융합되어 Weibo의 임베딩 인코딩을 형성합니다. 사전 훈련 과정입니다.

사전 학습 후 잘 학습된 Weibo 인코더를 사용하여 새로운 Weibo 콘텐츠를 다중 모달 방식으로 인코딩하여 임베딩을 형성할 수 있으며 이는 추천과 같은 다운스트림 작업에 사용할 수 있습니다.

둘째, 사용자 이해 측면에서 Weibo는 사용자의 독서 관심 분야를 더 잘 이해하기 위해 초대형 그래프 컴퓨팅을 사용합니다. 결국 웨이보에는 고유한 소셜 미디어 속성이 있어서 자연스럽게 대규모 그래프 컴퓨팅과 잘 어울립니다.

사용자와 블로그 게시물을 그래프의 노드로 사용하고 사용자, 사용자와 블로그 게시물 읽기, 다시 댓글 달기 및 좋아요 누르기 등의 관심 관계를 기반으로 그래프의 가장자리를 구성하여 Weibo는 10억 개의 노드, 100억 개의 모서리가 있는 매우 큰 그래프.

대규모 그래프 컴퓨팅에서의 정보 전파, 집계 및 통합을 통해 사용자 관심 사항을 나타내는 임베딩 벡터가 형성되고 사용자 관심 사항을 더 잘 이해할 수 있습니다.

이를 통해 사용자 간의 다음 관계, 사용자 및 블로그 게시물의 덧글과 좋아요 등을 동시에 처리할 수 있습니다.

Weibo 추천 시스템은 사용자가 말하는 내용을 이해하고 Weibo 사용자의 관심사를 이해한 후 관심 있는 사용자에게 맞춤화된 방식으로 고품질의 Weibo 게시물을 배포합니다.

그렇다면 이렇게 복잡한 시나리오에서 효율적인 추천 시스템을 어떻게 구축할 수 있을까요?

Weibo는 다중 장면 모델링 접근 방식을 채택합니다. 이상적인 상황은 하나의 추천 모델만 구축하고 이를 사용하여 여러 시나리오를 제공하는 것입니다.

그렇다면 장면 간의 공통성과 개성을 어떻게 표현해야 할까요? 네트워크 매개변수는 장면 간에 공유될 수 있으며, 장면은 장면의 공통성과 개별성을 반영하기 위해 독점적인 사설 네트워크 매개변수를 가질 수 있습니다.

예를 들어, 이 모델 다이어그램에서 모델의 기본 기능 입력 레이어와 네트워크 중간에 있는 "전문가 하위 네트워크"의 일부에서 이러한 네트워크 매개변수는 각 네트워크에서 공유됩니다. 다른 하위 네트워크 매개변수는 장면에 고유한 반면

이러한 방식으로 하나의 모델은 여러 장면을 제공하고 모델 리소스를 절약할 수 있습니다.

당산 사건: 교통량이 두 배로 늘면 어떻게 해야 하나요?

이제 원래의 "서스펜스"로 돌아갑니다.

완전히 보호되지 않으면 '폭발'할 이 핫스팟은 웨이보에게 늘 큰 도전이었습니다.

예를 들어 최근 전국적인 관심을 끌었던 "당산 사건"은 사건 당일의 뜨거운 교통량으로 인해 일일 교통 최고치의 두 배에 달했습니다.

이와 관련하여 Wang Wei는 Weibo가 마이크로서비스 + Docker 컨테이너화 기술을 매우 일찍 적용하여 서비스 운영 및 유지 관리의 효율성을 향상시킬 뿐만 아니라 서비스의 동적 확장 및 축소 기능을 실현했다고 말했습니다. 현재 웨이보는 10분 안에 10,000개 이상의 서버를 예약할 수 있는 용량을 갖추고 있으며 핫 트래픽을 처리할 만큼 충분한 서버를 보유하고 있습니다.

또한 Weibo는 핫스팟 모니터링 메커니즘과 핫스팟 연결 시스템을 구축했으며 Weibo가 개발한 Weibo Mesh 기술을 통해 서로 다른 서비스 간의 효율적인 교차 언어 통화를 실현하고 전체 서비스 성능을 향상하며 연계 확장의 효율성.

마침내 Weibo는 오프라인 실시간 하이브리드 배포 기술을 채택했습니다. CPU 실시간 선점형 스케줄링 기술과 컨테이너화 기술의 결합은 Weibo 서비스의 오프라인 실시간 하이브리드 배포 기능을 구현하는 데 사용됩니다.

위 작업을 결합한 후 핫 트래픽이 발생하면 몇 초 만에 핵심 서비스의 핫 트래픽을 장악할 수 있습니다. 마지막으로 인터넷의 발전사를 살펴보자.

PC 인터넷이 온라인 세계의 시작이라면, 모바일 인터넷의 등장으로 보이지 않는 정보 공간을 주머니에 넣을 수 있게 되었습니다. 빅데이터, 클라우드 컴퓨팅, 인공지능 등의 기술이 모바일 인터넷과 중첩, 통합되면서 우리는 지능정보 시대로 진입했습니다.

지금 가장 핫한 화두는 멀티버스입니다. 메타버스는 지난해부터 디지털 트윈, 디지털 피플, XR, 블록체인 기술 등 폭넓은 논의를 불러일으켰다.

Wang Wei는 AI, 블록체인, XR과 같은 최첨단 기술을 기반으로 한 현재 애플리케이션 시나리오가 이미 메타버스의 일부 프로토타입을 반영했다고 믿습니다. 게임, 소셜 네트워킹과 같은 분야는 메타버스에 대한 매우 좋은 응용 시나리오이며, 이는 모든 사람의 메타버스 참여에 대한 열정을 불러일으킬 것입니다.

위 내용은 웨이보는 왜 중독성이 있나요? 숨은 추천 알고리즘 복호화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!