NUS와 Byte는 업계 간 협력하여 모델 최적화를 통해 72배 더 빠른 교육을 달성하고 AAAI2023 Outstanding Paper를 수상했습니다.

최근 최고의 국제 인공지능 컨퍼런스 AAAI 2023이 선정 결과를 발표했습니다. 싱가포르 국립대학교(NUS)와 Bytedance Machine Learning Team(AML)이 협력한 CowClip 기술 논문이 우수 논문 최종 후보에 올랐습니다. CowClip은 모델 정확도를 보장하면서 단일 GPU에서 모델 훈련 속도를 72배 높일 수 있는 모델 훈련 최적화 전략입니다. 관련 코드는 이제 오픈 소스입니다. ​

논문 주소: https://arxiv.org/abs/2204.06240​

오픈 소스 주소: https://github.com/bytedance/LargeBatchCTR

AAAI는 국제인공지능진흥협회(International Association for the Advancement of Artificial Intelligence)가 매년 주최하는 컨퍼런스로, 인공지능 분야에서 가장 오래된 학술 컨퍼런스 중 하나입니다. AAAI 2023에는 총 8,777개의 논문이 제출되었으며, 그 중 1,721개의 논문이 승인되었으며 승인률은 19.6%였습니다. 옥스퍼드대학교 컴퓨터과학과가 이번 학회 최우수상(Outstanding Paper Award)을 수상했으며, 북경대학교와 타 기관의 공동 논문이 우수 학생 논문상(Outstanding Student Paper Award)을 수상했습니다. 또한 이번 컨퍼런스에서는 모델 훈련 전략 최적화, 그래프 신경망 최적화, 신경 아키텍처 검색 등 다양한 방향을 다루는 우수 논문 12편도 선정되었습니다. ​

모델 훈련 속도를 향상시키는 방법은 머신러닝 분야의 영원한 주제입니다. Google이 2018년 최초로 사전 훈련된 대형 모델 BERT를 제안한 이후, 대형 모델 훈련은 점차 딥러닝 분야의 트렌드이자 추세가 되었습니다. 그러나 모델의 크기가 증가한다는 것은 완전한 훈련에 많은 시간과 계산 비용이 소요된다는 것을 의미합니다. 앞서 구글이 공개한 정보에 따르면 T5(구글이 2019년 출시한 사전 훈련 모델)의 110억 매개변수 변형을 훈련할 때 단일 운영 비용이 130만 달러를 넘는다. ​

우수논문으로 선정된 CowClip 모델 훈련 최적화 전략은 더 큰 배치 크기의 모델 정확도를 보장함으로써 보다 완벽한 GPU 성능 마이닝을 달성하고 훈련 속도를 향상시킬 수 있습니다. 실험에 따르면 CowClip을 사용하여 훈련한 모델은 다른 방법보다 정확도가 높을 뿐만 아니라 훈련 속도도 크게 향상되었습니다. 단일 GPU에서 Deep FM 모델을 훈련하면 데이터를 기준으로 훈련 시간을 12시간에서 10분으로 단축할 수 있습니다. 공개 데이터 세트의 모델 학습 속도는 한 번에 72배 향상됩니다. ​

인공지능 기술은 효율적인 컴퓨팅과 보다 정확한 분석 및 의사결정 능력을 통해 의료, 금융, 제조, 교육, 전자상거래 등의 분야에서 점점 더 많이 사용되고 있으며, 모델의 정확성도 향상되고 있습니다. 훈련과 효율성은 앞으로도 인공지능 산업의 발전에 영향을 미치는 핵심 요소가 될 것입니다. ​

보고서에 따르면 Bytedance Machine Learning Team(AML)은 회사의 일부 사업에 CowClip의 핵심 기술을 구현했습니다. 이 팀은 Toutiao, Douyin, Xigua Video 등에 대한 추천, 광고 및 검색과 같은 비즈니스 시나리오에 대한 대규모 교육 시스템 및 추론 시스템을 포함하여 회사에 기계 학습 중간 엔드 서비스를 제공하고 간단하고 쉬운- Volcano Engine을 통해 기업 고객에게 사용하기 쉽고 안정적이며 신뢰할 수 있는 추론 시스템을 제공합니다. ​

위 내용은 NUS와 Byte는 업계 간 협력하여 모델 최적화를 통해 72배 더 빠른 교육을 달성하고 AAAI2023 Outstanding Paper를 수상했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!