게스트 | Huang Bin
편집 | Tu Chengye
최근 51CTO가 주최한 AISummit 글로벌 인공 지능 기술 컨퍼런스에서 NetEase 클라우드 음악 알고리즘 플랫폼 연구 개발 전문가인 Huang Bin이 기조 연설을 했습니다. NetEase 클라우드 음악 온라인 예측 시스템의 실천과 생각"은 기술 연구 개발의 관점에서 고성능, 사용하기 쉽고 기능이 풍부한 예측 시스템을 구축하는 방법에 대한 관련 사례와 생각을 공유합니다.
여러분에게 영감을 주기 위해 연설 내용을 다음과 같이 정리했습니다.
먼저 아래 그림과 같이 전체 예측 시스템의 아키텍처를 살펴보겠습니다.
전체 시스템 아키텍처
가운데에 있는 Predict Server는 예측 시스템의 핵심 구성 요소입니다. 쿼리 구성 요소, 기능 처리 구성 요소 및 모델 계산 구성 요소를 포함한 예측 시스템. 왼쪽의 모니터링 시스템은 회선 네트워크 서비스를 모니터링하여 시스템 네트워크의 원활한 흐름을 보장하는 데 사용됩니다. 오른쪽의 PushServer는 모델 푸시에 사용되며 예측을 위해 최신 모델을 온라인 예측 시스템으로 푸시합니다.
목표는 고성능, 사용하기 쉽고 기능이 풍부한 예측 시스템을 구축하는 것입니다.
컴퓨팅 성능을 향상시키는 방법은 무엇입니까? 일반적인 컴퓨팅 성능 문제는 무엇입니까? 세 가지 측면에서 자세히 설명하겠습니다.
일반 솔루션에서는 특성 계산과 모델 계산이 별도의 프로세스에 배포되어 서비스와 언어 간에 많은 기능이 전송되어 여러 인코딩 및 디코딩과 메모리 복사가 발생합니다. , 상대적으로 큰 성능 오버헤드가 발생합니다.
모델이 업데이트되면 많은 유형의 블록이 적용되고 출시될 것이라는 것을 알고 있습니다. 그러나 일부 일반 솔루션에서는 모델 예열 솔루션이 제공되지 않아 모델 업데이트 프로세스에서 상대적으로 많은 시간이 소요되는 지터가 발생하고 모델의 실시간 업데이트를 지원할 수 없습니다.
일반 프레임워크는 동시성이 부족하고 CPU 사용률이 낮으며 높은 동시성 컴퓨팅 요구를 충족할 수 없는 동기화 메커니즘을 사용합니다.
그렇다면 예측 시스템에서 이러한 성능 병목 현상을 어떻게 해결할 수 있을까요?
왜 이런 일을 해야 할까요? 기존 솔루션에서는 기능 처리와 모델 계산이 별도의 프로세스에 배포되어 더 구체적인 네트워크 간 전송, 직렬화, 역직렬화, 빈번한 메모리 애플리케이션 및 릴리스가 발생한다는 것을 우리 모두 알고 있기 때문입니다. 특히 추천 장면의 기능량이 특히 많을 경우 상당한 성능 오버헤드가 발생합니다. 아래 그림에서 상단의 흐름도는 일반적인 솔루션의 구체적인 상황을 보여줍니다.
컴퓨터 학습 라이브러리의 원활한 통합
위 문제를 해결하기 위해 고성능 컴퓨팅 학습 프레임워크를 예측 시스템에 통합함으로써 특징 처리 및 모델 계산을 보장할 수 있다는 장점이 있습니다. 동일한 프로세스에서 배포할 수 있으며 기능 작업을 포인터 형태로 구현할 수 있어 직렬화, 역직렬화 및 네트워크 전송의 오버헤드를 피할 수 있으므로 기능 계산 및 기능 처리에서 더 나은 컴퓨팅 성능 향상이 가능하다는 이점이 있습니다. 머신러닝을 통합합니다.
우선, 전체 시스템은 완전 비동기식 아키텍처 설계를 채택합니다. 비동기 아키텍처의 장점은 외부 호출이 차단되지 않고 대기한다는 것입니다. 따라서 비동기 메커니즘은 60%~70%와 같은 높은 CPU 부하에서도 시간이 많이 소요되는 네트워크 서비스의 안정성이 계속 유지되도록 보장할 수 있습니다.
둘째, 메모리 액세스 최적화입니다. 메모리 액세스 최적화는 주로 서버의 NUMA 아키텍처를 기반으로 하며 코어 바운드 작업 방식을 채택합니다. 이러한 방식으로 이전 NUMA 아키텍처에 존재했던 원격 메모리 액세스 문제를 해결하여 서비스의 컴퓨팅 성능을 향상시킬 수 있습니다.
세 번째, 병렬 컴퓨팅. 우리는 컴퓨팅 작업을 슬라이스로 처리하고 멀티 스레드 동시성을 사용하여 계산을 수행하므로 서비스 시간 소비를 크게 줄이고 리소스 활용도를 향상시킬 수 있습니다.
건축 설계 고려 사항
위는 시스템의 시스템 아키텍처 고려 사항을 추정하는 우리의 관행입니다.
다단계 캐싱은 주로 기능 쿼리 단계와 기본 단계에서 사용됩니다. 우리가 캡슐화하는 캐싱 메커니즘은 한편으로는 쿼리에 대한 외부 호출을 줄이고, 다른 한편으로는 특징 추출로 인해 반복되는 유효하지 않은 계산을 줄일 수 있습니다.
캐싱을 통해 쿼리 및 추출의 효율성을 크게 향상시킬 수 있습니다. 특히 쿼리 단계에서는 동기 쿼리, 비동기 쿼리, 기능 일괄 가져오기 등 기능의 중요도와 크기에 따라 다양한 구성 요소를 캡슐화합니다.
첫 번째는 동기 쿼리인데, 이는 주로 몇 가지 중요한 기능에 적합합니다. 물론 동기 쿼리의 성능은 그다지 효율적이지 않습니다.
두 번째는 비동기 쿼리로, 주로 일부 "Aite 차원" 기능을 대상으로 합니다. 이러한 기능은 그다지 중요하지 않을 수 있으므로 이 비동기 쿼리 방법을 사용할 수 있습니다.
세 번째 방법은 특징 일괄 가져오기로, 특징 크기가 특별히 크지 않은 특징 데이터에 주로 적합합니다. 이러한 기능을 프로세스에 일괄적으로 가져옴으로써 지역화된 기능 쿼리를 구현할 수 있으며 성능이 매우 효율적입니다.
다단계 캐싱
캐싱 메커니즘을 소개한 후 모델 계산의 동작 최적화를 살펴보겠습니다. 모델 계산을 위해 우리는 주로 모델 입력 최적화, 모델 로딩 최적화 및 커널 최적화의 세 가지 측면에서 최적화합니다.
모델 입력 영역에서 TF Servering이 예제의 입력을 사용한다는 것은 모두가 알고 있는 사실입니다. 예제 입력에는 예제 구성, 예제 직렬화 및 역직렬화, 모델 내부의 예제 구문 분석 호출이 포함되며, 이는 상대적으로 시간이 많이 소요됩니다.
아래 그림에서는 모델 계산 및 최적화 전의 데이터 통계를 보여주기 위해 [최적화 전] 스크린샷을 살펴보겠습니다. 파싱하는 데 시간이 오래 걸리는 상대적으로 긴 Parse 예제가 있고, Parse 예제가 파싱되기 전에 다른 op가 병렬 스케줄링을 수행할 수 없음을 알 수 있습니다. 모델 트리의 성능 문제를 해결하기 위해 예측 시스템에 고성능 모델 입력 솔루션을 캡슐화했습니다. 새로운 솔루션을 통해 우리는 특성 입력의 복사본이 없는 것을 달성할 수 있으므로 이 예제의 구성 및 구문 분석에 소요되는 시간을 줄일 수 있습니다.
아래 그림에서 모델 계산 최적화 후의 데이터 통계를 보여주기 위해 [최적화 후] 스크린샷을 보면 Parse 예제의 파싱 시간은 더 이상 없고 예제의 파싱 시간만 남은 것을 알 수 있습니다. .
모델 계산 최적화
모델 입력 최적화를 소개한 후, 모델 로딩 최적화에 대해 살펴보겠습니다. Tensorflow의 모델 로딩은 지연 로딩 모드입니다. 모델이 내부적으로 로딩된 후에는 모델을 예열하지 않고 대신 네트워크에서 정식 요청이 올 때까지 모델을 로딩하게 됩니다. 심각한 시간 소모적인 지터가 될 것입니다.
이 문제를 해결하기 위해 예측 시스템 내에 자동 모델 예열 기능, 기존 모델과 새 모델 간의 핫 스위칭, 기존 모델의 비동기 언로드 및 메모리 해제를 구현했습니다. 이러한 방식으로 이러한 모델을 로드하는 일부 최적화 방법을 통해 모델의 분 단위 업데이트 기능이 달성됩니다.
다음으로 모델 커널의 최적화에 대해 살펴보겠습니다. 현재 우리는 Tensorflow 커널에서 일부 커널 동기화 최적화를 주로 수행하고 있으며 모델 등에 따라 작업 간 및 작업 내에서 일부 스레드 풀을 조정할 것입니다.
위 내용은 모델 계산 성능을 최적화하려는 시도 중 일부입니다.
위의 성능 최적화 솔루션을 소개한 후, 최종 성능 최적화 결과를 살펴보겠습니다.
성능 최적화 결과
여기에서는 추정 시스템과 일반 솔루션 시스템을 비교합니다. 추정된 시스템의 CPU 사용량이 80%에 도달하면 전체 서비스의 계산 시간과 타임아웃 비율이 매우 안정적이고 매우 낮다는 것을 알 수 있습니다. 비교를 통해 새로운 솔루션(예측 시스템)이 계산 및 처리 측면에서 2배의 성능을 갖고 있으며, CPU 추출 기능이 더 강력하고, 서비스 시간이 더 짧다는 결론을 내릴 수 있습니다.
시스템 최적화 덕분에 비즈니스 알고리즘에 대해 더 많은 모델 복잡성 계산과 더 많은 후보 세트 계산을 제공할 수 있습니다.
위 그림은 후보 세트가 이전 300개 후보 세트에서 1,000개 후보 세트로 확장됨과 동시에 모델 계산 복잡성을 높이고 좀 더 복잡한 기능을 사용하여 성공을 거두었습니다. 여러 사업에서 더 나은 결과를 얻었습니다.
위는 추정 시스템의 성능 최적화 및 성능 최적화 결과에 대한 소개입니다.
시스템은 계층 아키텍처 설계를 채택합니다. 우리는 전체 추정 시스템을 기본 아키텍처 계층, 중간 템플릿 계층 및 상위 구조 계층을 포함하여 세 개의 계층으로 나눕니다.
기본 아키텍처 계층은 주로 비동기 메커니즘, 작업 대기열, 동시 예약, 네트워크 통신 등을 제공합니다.
중간 템플릿 레이어는 주로 쿼리 관리, 캐시 관리, 모델 로딩 관리, 모델 계산 관리 등 모델 계산과 관련된 구성 요소를 제공합니다.
상위 인터페이스 계층은 주로 고급 인터페이스를 제공합니다. 기업은 이 계층 인터페이스만 구현하면 되며, 이는 코드 개발을 크게 줄여줍니다.
시스템의 계층화된 아키텍처 설계를 통해 하위 및 중간 계층의 코드를 다른 비즈니스 간에 재사용할 수 있습니다. 개발은 상위 계층의 소량 코드 개발에만 집중하면 됩니다. 동시에, 상위 인터페이스 계층의 코드 개발을 더욱 줄일 수 있는 방법은 없을까? 아래에서 자세히 소개하겠습니다.
동적 PB 기술 기반의 기능 쿼리 및 기능 구문 분석을 기반으로 일반 솔루션을 캡슐화하여 XML 구성 테이블 이름, 쿼리 KEY, 캐시 시간, 쿼리 종속성 등을 통해서만 기능을 구현할 수 있습니다. 쿼리, 파싱, 캐싱의 전체 과정.
아래 그림과 같이 몇 줄의 구성만으로 복잡한 쿼리 로직을 구현할 수 있습니다. 동시에 쿼리 캡슐화를 통해 쿼리 효율성이 향상됩니다.
특징 계산은 전체 예측 시스템에서 코드 개발 복잡도가 가장 높은 모듈이라고 할 수 있습니다.
특성 계산에는 오프라인 프로세스와 온라인 프로세스가 포함됩니다. 오프라인 프로세스는 실제로 TF Recocd 형식과 같이 오프라인 훈련 플랫폼에 필요한 일부 형식을 얻기 위해 처리되는 오프라인 샘플입니다. 온라인 프로세스는 주로 온라인 요청에 대한 일부 기능 계산을 수행하고 처리를 통해 온라인 예측 플랫폼에 필요한 일부 형식을 얻습니다. 실제로 특징 처리를 위한 계산 논리는 오프라인 프로세스와 온라인 프로세스 간에 정확히 동일합니다. 그러나 오프라인 프로세스와 온라인 프로세스의 컴퓨팅 플랫폼이 다르고 사용하는 언어도 다르기 때문에 특성 계산을 구현하려면 여러 세트의 코드를 개발해야 하므로 다음과 같은 세 가지 문제가 있습니다.
일관성을 보장하기 어려운 근본적인 이유는 오프라인 학습과 온라인 예측의 특성 처리 로직을 통합하기 어렵기 때문입니다. 한편으로는 알고리즘의 효과에 영향을 미치고, 다른 한편으로는 개발 과정에서 상대적으로 높은 일회성 검증 비용이 발생하게 됩니다.
새로운 기능을 추가하려면 오프라인 프로세스와 온라인 프로세스를 포함하는 여러 세트의 코드를 개발해야 하므로 개발 효율성이 매우 낮습니다.
재사용의 어려움. 주된 이유는 프레임워크에 재사용 기능에 대한 지원이 부족하여 서로 다른 비즈니스 간에 기능 계산을 재사용하기가 매우 어렵다는 것입니다.
위 내용은 특성 계산 프레임워크의 몇 가지 문제입니다.
이러한 문제를 해결하기 위해 다음 4가지 사항에 따라 점차적으로 해결해 나가겠습니다.
먼저, 연산자 개념과 추상적인 특징 계산을 연산자 캡슐화로 제안합니다. 둘째, 연산자를 캡슐화한 후 비즈니스 간에 연산자를 재사용할 수 있는 기능을 제공할 수 있는 연산자 라이브러리를 구축합니다. 그런 다음 연산자를 기반으로 기능 계산 설명 언어 DSL을 정의합니다. 이 기술 언어를 통해 우리는 특징 계산의 구성 표현을 완성할 수 있습니다. 마지막으로 앞서 언급한 것처럼 온라인 프로세스와 오프라인 프로세스에는 여러 개의 논리 집합이 있어 논리적 불일치가 발생하므로 일회성 기능의 문제를 해결해야 합니다.
위의 네 가지 사항은 특징 계산 프레임워크를 캡슐화하는 방법에 대한 우리의 아이디어입니다.
연산자 추상화를 실현하려면 먼저 데이터 프로토콜의 통일이 이루어져야 합니다. 우리는 동적 pb 기술을 사용하여 기능의 원본 데이터 정보를 기반으로 통합 데이터에 따라 모든 기능을 처리합니다. 이는 연산자 캡슐화를 위한 데이터 기반을 제공합니다. 다음으로, 특징 처리 프로세스를 샘플링 및 캡슐화하고, 특징 계산 프로세스를 구문 분석, 계산, 어셈블리 및 예외 처리로 추상화하고, 계산 프로세스 API를 통합하여 연산자 추상화를 달성합니다.
연산자의 추상화가 끝나면 연산자 라이브러리를 구축할 수 있습니다. 운영자 라이브러리는 플랫폼 일반 운영자 라이브러리와 비즈니스 맞춤형 운영자 라이브러리로 구분됩니다. 플랫폼의 일반 운영자 라이브러리는 주로 회사 수준의 재사용을 달성하는 데 사용됩니다. 비즈니스 사용자 정의 연산자 라이브러리는 주로 그룹 내에서 재사용을 달성하기 위해 비즈니스의 일부 사용자 정의 시나리오 및 특성을 목표로 합니다. 연산자 캡슐화와 연산자 라이브러리 구축을 통해 여러 시나리오에서 기능 계산의 재사용을 실현하고 개발 효율성을 향상시킵니다.
구성된 특징 계산 표현식은 DSL이라는 특징 계산 표현식을 정의하는 구성된 언어를 의미합니다. 구성 언어를 통해 연산자의 다단계 중첩 표현, 4가지 산술 연산 등을 실현할 수 있습니다. 아래 첫 번째 스크린샷은 구성된 언어의 특정 구문을 보여줍니다.
특징 계산의 구성 언어를 통해 어떤 이점을 가져올 수 있나요?
첫째, 구성을 통해 전체 기능 계산을 완료할 수 있어 개발 효율성이 향상됩니다.
둘째, 구성된 특성 계산 표현식을 게시하여 특성 계산의 핫 업데이트를 달성할 수 있습니다.
셋째, 훈련과 예측은 동일한 기능 계산 구성을 사용하여 온라인 및 오프라인 일관성을 달성합니다.
특징 계산 표현식이 가져오는 이점입니다.
앞서 언급했듯이 Feature 계산은 오프라인 프로세스와 온라인 프로세스로 구분됩니다. 오프라인과 온라인의 다중 플랫폼 이유로 인해 논리적 계산이 일치하지 않습니다. 이 문제를 해결하기 위해 우리는 피처 컴퓨팅 프레임워크에 피처 컴퓨팅 프레임워크의 크로스 플랫폼 실행 기능을 구현했습니다. 핵심 로직은 C++로 개발되었으며, C++ 인터페이스와 Java 인터페이스가 외부에 노출되어 있습니다. 패키징 및 빌드 과정에서 원클릭으로 C++ so 라이브러리와 jar 패키지를 구현할 수 있어 기능 계산이 온라인 계산을 위한 C++ 플랫폼과 오프라인 Spark 플랫폼 또는 Flink 플랫폼을 실행할 수 있고 다음과 같이 표현할 수 있습니다. 기능 계산을 보장하기 위한 기능 계산 온라인 및 오프라인 논리의 일관성을 유지합니다.
위에서는 특성 계산의 구체적인 상황을 설명합니다. 지금까지 피처 컴퓨팅이 달성한 몇 가지 결과를 살펴보겠습니다.
우리는 이제 120개 회사의 연산자를 축적했습니다. DSL 언어의 기능 계산을 통해 구성을 구현하고 전체 기능 계산을 완료할 수 있습니다. 우리가 제공하는 크로스 플랫폼 운영 기능을 통해 온라인 및 오프라인 논리 불일치 문제가 해결됩니다.
아래 스크린샷은 적은 양의 구성으로 전체 특성 계산 프로세스를 실현할 수 있어 특성 계산의 개발 효율성이 크게 향상되는 것을 보여줍니다.
위에서는 개발 효율성 향상을 위한 우리의 탐구를 소개합니다. 일반적으로 시스템의 계층적 설계를 통해 코드의 재사용성을 향상시키고 쿼리, 추출 및 모델 계산을 캡슐화하여 구성 가능한 개발 프로세스를 달성할 수 있습니다.
모델 계산도 캡슐화의 형태를 취합니다. 구성 표현의 형태를 통해 모델의 로딩, 모델의 입력 구조, 모델의 계산 등이 몇 줄의 구성을 사용하여 전체 모델 계산의 표현 과정을 구현합니다.
모델의 실시간 구현 사례를 살펴보겠습니다.
우리는 왜 이런 실시간 프로젝트를 하고 싶은 걸까요?
주된 이유는 전통적인 추천 시스템이 매일 사용자 추천 결과를 업데이트하는 시스템이기 때문입니다. 실시간 성능이 매우 낮고 라이브 방송 시나리오와 같이 실시간 요구 사항이 높은 시나리오를 충족할 수 없습니다. , 또는 기타 실시간 요구 사항.
또 다른 이유는 전통적인 샘플 제작 방식이 특징 교차의 문제를 안고 있기 때문입니다. 특성 교차란 무엇인가요? 다음 그림은 샘플 접합 과정에서 "T-1" 시간에 모델 추정 구조를 사용하고 이를 "T" 시간에 특성과 접합하는 방법을 보여줍니다. 교차가 발생하게 됩니다. 특징 교차는 회선 네트워크 추천의 효과에 큰 영향을 미칩니다. 실시간 문제와 샘플 교차 문제를 해결하기 위해 예측 시스템에 이러한 모델 실시간 솔루션을 구현했습니다.
실시간 솔루션 모델을 3차원으로 설명합니다.
샘플은 실시간으로 생성됩니다. 온라인 예측 시스템을 기반으로 예측 시스템의 기능을 실시간으로 Kafka에 구현하고 이를 RACE ID 형식으로 연결합니다. 이를 통해 몇 초 내에 샘플이 디스크에 배치되는지 확인하고 문제를 해결할 수 있습니다. 특징 교차.
증분 모델 훈련. 몇 초 안에 샘플이 디스크에 배치된 후 훈련 모듈을 수정하여 모델의 증분 훈련을 구현하고 모델의 분 단위 업데이트를 달성할 수 있습니다.
예측 시스템은 실시간입니다. 분 단위로 모델을 내보낸 후, 현장 예측 시스템에서 최신 모델을 예측에 사용할 수 있도록 하는 모델 푸시 서비스 푸시 서버를 통해 최신 모델을 온라인 예측 시스템에 푸시합니다.
일반적으로 실시간 모델 솔루션은 몇 초 만에 샘플 배치, 분 단위 교육 및 모델의 분 단위 온라인 업데이트를 달성하는 것입니다.
현재 모델 실시간 솔루션은 여러 시나리오에서 구현되었습니다. 실시간 모델 솔루션을 통해 비즈니스 성과가 크게 향상되었습니다.
위 그림은 주로 모델 실시간 솔루션의 구체적인 실험 데이터를 보여줍니다. 점진적인 훈련을 볼 수 있는데, 훈련 기간이 짧을수록 좋습니다. 구체적인 데이터를 통해 우리는 15분 주기의 효과가 2시간, 10시간, 하루의 효과보다 훨씬 크다는 것을 알 수 있습니다. 현재 모델의 실시간 솔루션에는 이미 표준화된 액세스 프로세스가 있어 일괄적으로 비즈니스에 더 나은 결과를 가져올 수 있습니다.
위에서는 예측 시스템이 컴퓨팅 성능을 향상시키는 방법, 개발 효율성을 향상시키는 방법, 엔지니어링 수단을 통해 프로젝트 알고리즘을 개선하는 방법이라는 세 가지 측면에서 탐구와 시도를 소개합니다.
전체 견적 시스템의 플랫폼 가치, 즉 전체 견적 시스템의 플랫폼 목적은 "빠름, 좋음, 경제적" 세 단어로 요약할 수 있습니다.
"빠른"이란 앞서 소개한 응용공법을 뜻합니다. 지속적인 애플리케이션 구축을 통해 비즈니스 반복이 더욱 효율적이기를 바랍니다.
"좋다"는 것은 실시간 모델 솔루션, 기능 계산을 통한 온라인 및 오프라인 논리적 일관성 솔루션 등의 엔지니어링 수단을 통해 비즈니스에 더 나은 결과를 가져올 수 있기를 바라는 의미입니다.
"저장"은 예상 시스템의 더 높은 성능을 사용하여 더 많은 컴퓨팅 리소스를 절약하고 컴퓨팅 비용을 절약할 수 있음을 의미합니다.
앞으로도 이 세 가지 목표를 향해 계속해서 노력하겠습니다.
이상으로 클라우드 음악 예측 시스템에 대한 소개를 마치겠습니다. 모두 감사합니다!
위 내용은 NetEase Cloud 음악 알고리즘 플랫폼 R&D 전문가 Huang Bin: NetEase Cloud 음악 온라인 예측 시스템에 대한 실습 및 생각의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
