앤트그룹의 넥스트에보(NextEvo), 대규모 모델 훈련에서 '자율주행'을 가능하게 하는 AI 인프라 기술 완전 오픈소스

최근 Ant Group의 AI 혁신 R&D 부서인 NextEvo는 대규모 모델 훈련의 효율성을 획기적으로 향상시킬 수 있는 포괄적인 오픈 소스 AI Infra 기술을 발표했습니다. 데이터에 따르면, 이 기술은 훈련 시간의 유효 비율을 95% 이상으로 늘리고 훈련 프로세스의 자동화를 실현할 수 있습니다. 이러한 획기적인 진전은 AI 연구 개발의 효율성을 크게 향상시켰습니다.

사진: Ant Group의 자동화된 분산 딥 러닝 시스템 DLRover가 이제 완전한 오픈 소스입니다.

DLRover는 대규모 분산 교육을 위해 설계된 기술 프레임워크입니다. 오늘날 많은 기업에서는 훈련 작업이 복잡하고 다양한 하이브리드 배포 클러스터에서 실행되는 경우가 많습니다. 아무리 복잡한 환경이라도 DLRover는 거친 지형에서 운전하는 것처럼 쉽게 처리할 수 있습니다.

2023년 대형 모델 기술의 급속한 발전으로 엔지니어링 실무가 폭발적으로 성장했습니다. 어떻게 데이터를 효율적으로 관리하고, 훈련 및 추론 효율성을 최적화하며, 기존 컴퓨팅 성능을 최대한 활용하는 것이 중요한 문제가 되었습니다.

GPT-3처럼 매개변수 수준이 1,000억개에 달하는 대형 모델을 완성하려면 카드 한 장으로 한 번 훈련시키는 데 32년이 걸립니다. 따라서 학습 과정에서 컴퓨팅 성능을 최대한 활용하는 것이 매우 중요합니다. 이 목표를 달성하기 위해 취할 수 있는 두 가지 접근 방식이 있습니다. 첫째, 구입한 GPU의 성능을 더욱 향상시켜 잠재력을 최대한 발휘할 수 있습니다. 둘째, CPU, 메모리 등 기존에 사용할 수 없었던 컴퓨팅 자원을 활용할 수 있습니다. 이를 달성하기 위해서는 이기종 컴퓨팅 플랫폼을 통해 이 문제를 해결할 수 있습니다.

DLRover는 최근 모델 훈련 중 체크포인트 관리를 위해 FCP(Flash Checkpoint) 솔루션을 통합했습니다. 기존의 체크포인트 관리 방식은 오랜 시간 소모, 고주파 체크포인트로 인해 훈련 ​​가능 시간이 감소하고, 저주파 체크포인트 복구 시 과도한 손실이 발생하는 등의 문제점이 있습니다. 새로운 솔루션인 FCP를 적용하면 1,000억 개의 매개변수 모델을 학습시킨 후 Checkpoint로 인해 낭비되는 학습 시간이 약 5배, 지속 시간이 약 70배 단축됩니다. 이러한 개선으로 효과적인 훈련 시간이 90%에서 95%로 늘어납니다. 이는 DLRover의 모델 훈련 효율성이 크게 향상되었음을 의미합니다.

3가지 새로운 최적화 기술도 통합했습니다. 옵티마이저는 기계 학습의 핵심 구성 요소이며 손실 함수를 최소화하기 위해 신경망 매개 변수를 업데이트하는 데 사용됩니다. 그 중 Ant의 AGD(인접 단계의 기울기 차이가 있는 자동 전환 가능 최적화 프로그램) 최적화 프로그램은 대규모 모델 사전 훈련 작업에서 기존 AdamW 기술보다 1.5배 빠릅니다. AGD는 개미 내의 다양한 시나리오에 사용되어 놀라운 결과를 얻었으며 관련 논문은 NeurIPS '23에 포함되었습니다.

사진: 대규모 모델 사전 훈련 작업에서 AGD는 AdamW에 비해 1.5배 가속할 수 있습니다.

자동화된 분산 딥 러닝 시스템인 DLRover의 "자율 주행" 기능 모듈에는 다음이 포함됩니다: Atorch, The PyTorch 분산 훈련 확장 라이브러리는 수천억 개의 매개변수 모델에 대한 킬로칼로리 수준의 훈련을 위해 60%의 컴퓨팅 전력 활용률을 달성할 수 있어 개발자가 하드웨어 컴퓨팅 성능을 더욱 활용할 수 있도록 돕습니다.

DLRover는 분산 학습의 지능을 높이기 위해 "ML for System"이라는 개념을 사용하여 개발자가 리소스 할당의 제약을 완전히 없애고 모델 학습 자체에 집중할 수 있도록 하는 시스템을 목표로 합니다. 리소스 구성 입력 없이도 DLRover는 각 훈련 작업에 최적의 리소스 구성을 제공할 수 있습니다.

Ant Group은 최근 인공 지능 분야의 기술에 지속적으로 투자하고 있는 것으로 알려져 있습니다. 최근 Ant Group은 Ant AI를 포함한 모든 핵심 기술 연구 및 개발을 담당하는 내부 AI 혁신 연구 개발 부서인 NextEvo를 설립했습니다. AI 알고리즘, AI 엔지니어링, NLP, AIGC 등 핵심 기술과 다중 모드 대형 모델 레이아웃, 디지털 등 분야의 기술 연구 개발 및 제품 혁신을 포함하는 Bailing 대형 모델의 모든 연구 개발 작업 인간.

동시에 Ant Group은 오픈 소스 속도를 가속화하고 관련 국내 기술 격차를 메우며 인공 지능 산업의 급속한 발전을 촉진했습니다.

DLR오버 오픈 소스 주소: https://www.php.cn/link/cf372cbe6eae54c6a6dfb3ebbcdc3404

위 내용은 앤트그룹의 넥스트에보(NextEvo), 대규모 모델 훈련에서 '자율주행'을 가능하게 하는 AI 인프라 기술 완전 오픈소스의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!