IBM은 수백억 개의 매개변수 모델을 유연하게 배치하고 교육하기 위해 클라우드 기반 AI 슈퍼컴퓨터 Vela를 개발합니다.

ChatGPT는 인터넷에서 인기가 높으며, 그 뒤에 숨은 AI 모델 훈련 또한 폭넓은 관심을 끌었습니다. IBM Research는 최근 자사가 개발한 클라우드 기반 슈퍼컴퓨터 Vela를 신속하게 배포하고 기본 AI 모델을 훈련하는 데 사용할 수 있다고 발표했습니다. 2022년 5월부터 수십 명의 회사 연구원들이 이 슈퍼컴퓨터를 사용하여 수백억 개의 매개변수로 AI 모델을 훈련해 왔습니다.

기본 모델은 레이블이 지정되지 않은 대량의 데이터에 대해 훈련된 AI 모델이며, 그 다양성은 미세 조정만으로 다양한 작업에 사용할 수 있음을 의미합니다. 규모가 엄청나며 막대하고 값비싼 컴퓨팅 성능이 필요합니다. 따라서 전문가들의 말처럼 컴퓨팅 능력은 차세대 대규모 기본 모델 개발에 있어서 가장 큰 병목 현상이 될 것이며, 이를 훈련시키기 위해서는 많은 컴퓨팅 능력과 시간이 필요하다.

수천억 또는 수천억 개의 매개변수를 실행할 수 있는 모델을 훈련하려면 네트워크, 병렬 파일 시스템, 베어메탈 노드를 포함한 고성능 컴퓨팅 하드웨어를 사용해야 합니다. 이 하드웨어는 배포하기 어렵고 실행 비용이 많이 듭니다. Microsoft는 2020년 5월 OpenAI용 AI 슈퍼컴퓨터를 구축하고 이를 Azure 클라우드 플랫폼에서 호스팅했습니다. 그러나 IBM은 하드웨어 중심이기 때문에 비용이 증가하고 유연성이 제한된다고 말합니다.

클라우드 AI 슈퍼컴퓨터

그래서 IBM은 “특히 대규모 AI에 초점을 맞춘” Vela라는 시스템을 만들었습니다.

Vela는 필요에 따라 IBM의 모든 클라우드 데이터 센터에 배포할 수 있으며 그 자체가 "가상 클라우드"입니다. 이 접근 방식은 물리학 기반 슈퍼컴퓨터를 구축하는 것에 비해 컴퓨팅 성능을 감소시키지만 보다 유연한 솔루션을 생성합니다. 클라우드 컴퓨팅 솔루션은 엔지니어에게 API 인터페이스를 통한 리소스, 심층적인 통합을 위한 광범위한 IBM 클라우드 에코시스템에 대한 보다 쉬운 액세스, 필요에 따라 성능을 확장할 수 있는 기능을 제공합니다.

IBM 엔지니어는 Vela가 사용자 정의 스토리지 백엔드를 구축하는 대신 IBM Cloud Object Storage의 데이터 세트에 액세스할 수 있다고 설명했습니다. 이전에는 이 인프라를 슈퍼컴퓨터에 별도로 구축해야 했습니다.

모든 AI 슈퍼컴퓨터의 핵심 구성 요소는 수많은 GPU와 이를 연결하는 노드입니다. Vela는 실제로 각 노드를 (베어메탈이 아닌) 가상 머신으로 구성합니다. 이는 가장 일반적인 방법이며 AI 훈련에 가장 이상적인 방법으로 널리 간주됩니다.

Vela는 어떻게 만들어졌나요?

클라우드 가상 컴퓨터의 단점 중 하나는 성능을 보장할 수 없다는 것입니다. 성능 저하를 해결하고 가상 머신 내에서 베어메탈 성능을 제공하기 위해 IBM 엔지니어는 전체 노드 성능(GPU, CPU, 네트워크 및 스토리지 포함)을 잠금 해제하고 로드 손실을 5% 미만으로 줄이는 방법을 찾았습니다.

여기에는 가상화를 위한 베어메탈 호스트 구성, VM 확장 지원, 대형 페이지 및 단일 루트 IO 가상화가 포함되며 VM 내의 모든 장치 및 연결에 대한 현실적인 표현도 포함되며 네트워크 카드를 CPU 및 GPU에 일치시키는 것도 포함됩니다. 서로 연결하는 방법. 이 작업을 완료한 후 가상 머신 노드의 성능이 "베어메탈에 가깝다"는 사실을 발견했습니다.

또한 AI 훈련 데이터, 모델 및 완제품을 캐싱하기 위해 대용량 GPU 메모리와 대용량 로컬 스토리지를 갖춘 AI 노드를 설계하는 데에도 전념하고 있습니다. PyTorch를 사용한 테스트에서 그들은 워크로드 통신 패턴을 최적화함으로써 슈퍼컴퓨팅에 사용되는 Infiniband와 같은 빠른 네트워크에 비해 상대적으로 느린 이더넷 네트워크의 병목 현상을 해소할 수 있다는 것을 발견했습니다.

구성 측면에서 각 Vela는 80GB A100 GPU 8개, 2세대 Intel Xeon 확장 가능 프로세서 2개, 1.5TB 메모리 및 4개의 3.2TB NVMe 하드 드라이브를 사용하며 모든 규모의 클라우드 데이터 센터에 배포할 수 있습니다. 세계 각국.

IBM 엔지니어는 다음과 같이 말했습니다. "올바른 도구와 인프라를 갖추는 것은 R&D 효율성을 향상시키는 핵심 요소입니다. 많은 팀이 AI용 기존 슈퍼컴퓨터를 구축하는 검증된 경로를 선택합니다. 우리는 더 나은 솔루션을 위해 노력해 왔습니다. 솔루션, 고성능 컴퓨팅과 고급 사용자 생산성의 두 가지 이점을 제공합니다.”

위 내용은 IBM은 수백억 개의 매개변수 모델을 유연하게 배치하고 교육하기 위해 클라우드 기반 AI 슈퍼컴퓨터 Vela를 개발합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!