텍스트 생성 인공 지능이 최근 인터넷을 강타했습니다. ChatGPT는 생각할 수 있는 거의 모든 질문에 대해 매우 자세하고 실제와 같은 답변을 제공하는 기능으로 유명합니다. 대규모 모델 애플리케이션의 출현으로 사람들은 AI 기술 혁신에 대한 확신을 갖게 되었지만, 그 이면에 분산 기계 학습 프레임워크가 생성적 AI 혁명을 촉진하고 있다는 사실을 아는 사람은 거의 없습니다.
A16z 지원 스타트업 Anyscale의 분산 컴퓨팅 프레임워크 Ray는 OpenAI가 ChatGPT와 같은 모델 교육을 강화하는 데 핵심입니다. Ray는 OpenAI의 최근 대규모 언어 모델을 모두 뒷받침하고 있으며 OpenAI에서 많은 기대를 받고 있는 GPT-4의 프레임워크일 수도 있습니다. 대규모 모델 기술이 지속적으로 구현되면서 인간과 가까운 콘텐츠를 생산해 수십억 달러 규모의 산업이 형성되고 있다고 업계 관계자들은 믿고 있다.
이 분야에서는 Ray가 가장 영향력 있는 프레임워크입니다. OpenAI가 등장하기 전에는 맞춤형 도구 모음을 사용하여 대형 모델을 개발했습니다. 그러나 OpenAI의 Greg Brockman 회장은 올해 초 Ray Summit에서 회사가 직면한 과제가 증가함에 따라 Ray를 선택했다고 말했습니다.
소프트웨어 회사 Weights & Biases의 CEO인 Lukas Biewald는 Ray가 이미 AI 세계에서 뜨거운 떠오르는 스타라고 믿습니다. "새로운 도구 덕분에 랩톱과 대규모 분산 서버에서 동일한 코드를 실행할 수 있습니다. 이는 엄청난 변화이며 모델이 커질수록 중요성도 커질 것입니다."라고 Biewald는 말했습니다.
기술이 성숙해지면서 레이는 자본시장의 주목을 받게 되었습니다. Anyscale의 자산은 희소한 상품이 되었으며 Business Insider는 이 문제에 정통한 사람들에 따르면 10억 달러 이상의 가치를 지닌 Series C 라운드의 확장인 최신 자금 조달 라운드가 며칠 내에 마감되었다고 보고했습니다.
일부 투자자들은 Anyscale을 Horowitz의 희망적인 "차세대 Databricks"로 묘사했습니다. 이는 스타트업의 공동 창업자인 Ion Stoica가 Databricks의 310억 달러 규모의 데이터 거대 기업이라는 점을 고려하면 일리가 있는 설명입니다.
Anyscale의 CEO인 Robert Nishihara는 “인공지능은 놀라운 속도로 발전하고 있으며 사람들은 항상 새로운 접근 방식을 시도하고 있습니다.”라고 말했습니다. "ChatGPT는 대규모 언어 모델에 대한 이전 작업을 결합합니다. 무엇보다도 유연성, 빠른 혁신, 다양한 알고리즘 및 방법의 확장을 가능하게 하는 인프라가 필요합니다.
ChatGPT의 인기로 인해." 새로운 도구 뒤에는 점점 더 큰 모델이 있으며, 기술 회사는 AI 개발 방식을 처음부터 다시 생각해야 합니다. Ray는 이러한 대규모 모델을 더 쉽게 훈련할 수 있도록 탄생했으며 수천억 개의 데이터 포인트를 포함할 수 있어 각 응답에 실제와 같은 느낌을 줍니다.
Ray는 메모리 공유를 기반으로 하는 분산 컴퓨팅 프레임워크로 세분화된 병렬 컴퓨팅 및 이종 컴퓨팅에 적합하며 할당 관리를 위한 기본 인프라를 제공합니다. 머신러닝 모델을 훈련합니다.
2017년 UC Berkeley 연구진은 Ray의 논문 "Ray: A Distributed Framework for Emerging AI Application"을 처음으로 제출했습니다.
이 작업에서 연구원들은 환경과 지속적으로 상호 작용하고 상호 작용을 통해 학습하는 차세대 AI 애플리케이션이 어떤 모습일지 예측합니다. 이러한 애플리케이션은 점점 더 동적 환경에서 작업을 완료하고, 환경 변화에 대응하고, 장기적인 목표를 달성하기 위한 일련의 작업을 수행해야 합니다. 이러한 특성으로 인해 운영 환경의 성능과 유연성에 대한 새롭고 까다로운 시스템 요구 사항이 제시되었으므로 연구자들은 분산 기반 Ray 프레임워크를 제안했습니다.
Ray는 단일 동적 실행 엔진이 지원하는 작업 병렬성과 행위자 기반 계산을 표현할 수 있는 통합 인터페이스를 구현합니다. 성능 요구 사항을 충족하기 위해 Ray는 분산 스케줄러와 분산 내결함성 스토리지를 사용하여 시스템의 제어 상태를 관리합니다. 훈련, 시뮬레이션, 서비스를 통합한 최초의 분산 컴퓨팅 프레임워크로, 동적 작업 실행 엔진을 기반으로 역할 병렬(배우) 및 작업 병렬(작업) 계산을 통합하고 프레임워크의 높은 확장성과 고성능을 보장합니다. 용인.
Ray의 아키텍처.
이 작업을 바탕으로 2019년 12월 UC Berkeley의 Robert Nishihara, Philipp Moritz, Ion Stoica 및 버클리 교수 Michael I. Jordan이 Anyscale을 설립하여 현재까지 2억 6천만 달러를 모금했습니다.
기계 학습 실무자는 사용자가 어떤 제품을 구매할지 예측하는 간단한 모델과 같이 제한된 데이터 세트를 사용하여 노트북에서 소규모 모델을 실행할 수 있는 경우가 많습니다. 그러나 학습을 위해 대규모 서버가 필요한 ChatGPT와 같은 초대형 모델에는 노트북이 적합하지 않습니다.
많은 수의 장치를 사용하여 모델을 훈련하는 것은 다양한 하드웨어에 대한 훈련을 조정하는 중요한 과제에 직면합니다. Ray는 이 문제를 해결합니다. 다양한 하드웨어를 하나의 단위로 관리하여 어떤 데이터가 어디로 가는지 결정하고 오류를 처리하는 메커니즘을 제공합니다. 하드웨어 유형은 Google Cloud, AWS 및 기타 동일한 문제를 해결하는 제품 포트폴리오입니다. . 또한 레이는 다른 언어의 핵심 프로그래밍 개념인 '액터(actor)'를 머신러닝 프로그램의 선택 언어로 알려진 파이썬(Python)에도 확장했다.
Ray는 분산 컴퓨팅 프레임워크로서 위치 인식(Locality-aware)과 작업 배치(작업 배치)라는 두 가지 주요 장점을 가지고 있습니다. 아래 그림에 표시된 것처럼 Ray는 내결함성과 낮은 대기 시간 작업 예약을 유지하면서 높은 처리량의 세분화된 작업을 지원하도록 시스템을 확장할 수 있습니다.
Ray는 OpenAI용 대형 모델 교육에서 상당한 복잡성을 제거하여 회사가 모델의 중요한 기능에 집중할 수 있도록 해줍니다.
새로운 세대의 AI에는 새로운 개발 도구가 필요합니다. Ray는 AI 개발 방식을 빠르게 파괴하고 있는 빠르게 떠오르는 차세대 기계 학습 도구 세트 중 하나일 뿐입니다. 예를 들어, Google의 JAX 프레임워크도 큰 주목을 받았으며 JAX는 Google의 핵심 기계 학습 도구의 중추가 될 것으로 예상되며 DeepMind 및 Google Brain에 널리 채택되었습니다.
마찬가지로 FirstMark Capital과 Bessemer Venture Partners의 지원을 받는 스타트업 Coiled는 Dask라는 병렬 컴퓨팅 프레임워크를 개발했습니다.
요즘에는 대규모 언어 모델이 더 많은 잠재력을 발휘하고 있으며, 이러한 새로운 기계 학습 도구는 업계의 거대 기술 기업과 스타트업을 위해 더욱 강력한 언어 모델을 구축할 것입니다.
위 내용은 ChatGPT의 기반이 되는 오픈 소스 AI 프레임워크인 Ray의 가치는 현재 10억 달러입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
