You Yang 팀은 단일 V100을 사용하여 모델을 72배 더 빠르게 훈련하여 AAAI 2023 Outstanding Paper Award에서 새로운 결과를 얻었습니다.

본 글은 AI 뉴미디어 큐빗(공개 계정 ID: QbitAI)의 승인을 받아 재인쇄되었습니다.

방금 UC Berkeley 박사이자 싱가포르 국립대학교 총장인 You Yang 젊은 교수가

AAAAI 2023Outstanding Paper Award(Distinguished Paper)을 수상했다는 소식을 발표했습니다!

연구 결과, 모델의 학습 속도가 한 번에 72배 향상되었습니다.

네티즌들도 신문을 읽고 감동을 표현했습니다:

12시간부터 10분까지, 부드러운 소(너 소)아!

You Yang 박사는 연구 중에 ImageNet 및 BERT 훈련 속도에서 세계 기록을 세운 적이 있습니다.

그가 설계한 알고리즘은 Google, Microsoft, Intel, NVIDIA와 같은 거대 기술 기업에서도 널리 사용되고 있습니다.

이제 그는 중국으로 돌아와 사업을 시작했습니다. Luchen Technology1년 반 만에 그와 그의 팀은 어떤 알고리즘을 고안하여 최고의 AI 컨퍼런스에서 이런 영예를 안았을까요?

훈련 시간이 12시간에서 10분으로

이 연구에서 You Yang 팀은 CTR 예측 모델의 대규모 배치 훈련을 가속화할 수 있는 최적화 전략 CowClip을 제안했습니다.

CTR(클릭률)예측 모델은 개인화 추천 시나리오에서 흔히 사용되는 알고리즘입니다.

보통 사용자 피드백(클릭수, 수집, 구매 등)을 학습해야 하며 매일 온라인에서 생성되는 데이터의 양은 유례없이 엄청납니다.

따라서 CTR 예측 모델의 학습 속도를 높이는 것이 중요합니다.

일반적으로 학습 속도를 높이려면 batch training이 사용됩니다. 그러나 배치 크기가 너무 크면 모델의 정확도가 떨어집니다.

수학적 분석을 통해 팀은 배치를 확장할 때 자주 발생하지 않는 기능에 대한 학습률을 확장하면 안 된다는 것을 증명했습니다.

저희가 제안하는 CowClip을 사용하면 배치 크기를 쉽고 효과적으로 확장할 수 있습니다.

4개의 CTR 예측 모델과 2개의 데이터 세트를 테스트하여 팀은 정확도 손실 없이 원래 배치 크기를

128배 확장하는 데 성공했습니다.

특히 DeepFM에서 CowClip은 배치 크기를 1K에서 128K로 확장하여 AUC를 0.1% 이상 향상시켰습니다.

그리고 단일 V100 GPU에서는 훈련 시간이 원래 12시간에서 단 10분으로 단축되고 훈련 속도가

72배 증가합니다.

현재 프로젝트 코드는 오픈 소스입니다. 팀은 이 알고리즘이 NLP와 같은 작업에도 적합하다고 말합니다.

팀 소개

이 기사의 첫 번째 저자는 You Yang의 박사 과정 학생

Zheng Changwei입니다. 그는 싱가포르 국립 대학교에서 학사 및 박사 학위를 취득했습니다.

그의 연구 방향에는 기계 학습, 컴퓨터 비전 및 고성능 컴퓨팅이 포함됩니다.

위 내용은 You Yang 팀은 단일 V100을 사용하여 모델을 72배 더 빠르게 훈련하여 AAAI 2023 Outstanding Paper Award에서 새로운 결과를 얻었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!