Tsinghua 팀, 새로운 플랫폼 출시: 분산형 AI를 사용하여 컴퓨팅 전력 부족 해소

최근 AI 분야에서 컴퓨팅 성능에 대한 수요가 놀라울 정도로 증가했다는 데이터가 나왔습니다. -

업계 전문가의 추정에 따르면 OpenAI가 출시한 Sora의 교육 단계에는 약 4200~10500개의 NVIDIA H100이 필요합니다. 한 달 동안 모델이 추론 단계로 생성되면 계산 비용이 훈련 단계를 빠르게 초과합니다.

이러한 추세가 계속된다면 GPU 공급이 계속되는 대형 모델 수요를 충족시키기 어려울 수 있습니다.

그러나 최근 해외에서는 다가오는 "컴퓨팅 파워 부족"에 대한 새로운 솔루션을 제공할 수 있는 새로운 트렌드가 있습니다. 바로 분산형 AI입니다.

3주 전인 3월 23일, Stability AI는 갑자기 회사 CEO인 Emad Mostaque의 사임을 발표했습니다. Emad Mostaque는 “분산형 AI의 꿈”을 추구하기 위한 다음 행보를 직접 밝혔습니다.

그러나 탈중앙화 네트워크의 불확실성과 불안정성 등 기술적 문제점을 해결하기 어렵기 때문에 탈중앙화 AI의 마지막 물결이 대형 모델 시대에 진정으로 구현되기는 어렵습니다.

최근 Qubits는 해외 사업을 시작한 Tsinghua 팀이 분산형 AI에 중점을 두고 NetMind.AI를 만들었다는 사실을 발견했습니다. 2023년 NetMind는 분산형 컴퓨팅 성능 공유 플랫폼 NetMind Power를 자세히 설명하는 백서를 발표했습니다. 이 플랫폼은 대형 모델 시대에 분산형 AI의 문제점을 해결하는 것을 목표로 합니다.

1. 모든 개발자를 위한 GPU를 저렴하게 만드세요

2021년 9월 NetMind.AI는 NetMind Power라는 분산형 컴퓨팅 플랫폼 프로젝트를 시작했습니다.

전 세계에는 엄청난 양의 온프레미스 컴퓨팅 성능이 있습니다. 기존 데이터 센터의 온프레미스 컴퓨팅 성능, 중소기업이 소유한 활용도가 낮은 컴퓨팅 성능, 개인이 소유한 흩어져 있는 GPU 등이 있습니다. 이러한 컴퓨팅 성능은 유휴 상태이거나 게임 및 비디오 렌더링에 사용됩니다. 동시에 AI 컴퓨팅 성능은 점점 부족해지고 있습니다. AI 연구자, 중소기업, 특히 AI 스타트업, AI 프로젝트에 참여하는 전통 기업 모두 AI 컴퓨팅 성능의 높은 비용과 높은 문턱으로 인해 어려움을 겪고 있습니다.

NetMind Power는 NetMind가 개발한 핵심 기술을 활용하여 글로벌 컴퓨팅 리소스를 활용하고 AI 산업을 위한 사용하기 쉽고 저렴한 AI 컴퓨팅 서비스를 제공하는 중앙 집중화 전용 컴퓨팅 네트워크를 만들었습니다.

ΔNetMind Power는 컴퓨팅 파워를 얻기 위한 경제적인 선택으로 사용자에게 효율적이고 저렴한 컴퓨팅 리소스 솔루션을 제공합니다.

현재 NetMind Power는 H100, A100, 4090, 3090을 포함하여 수천 개의 그래픽 카드를 수집했습니다.

플랫폼의 4가지 하이라이트:

1. 분산형 동적 클러스터 - 극도로 불확실한 컴퓨팅 성능에서 안정적이고 효율적인 AI 애플리케이션 생성

Power 플랫폼은 고유한 라우팅, 클러스터링 알고리즘 및 결합된 P2P 기반 동적 분산 클러스터 기술을 활용합니다. 신경망은 수천 개의 컴퓨팅 노드를 강력한 네트워크 클러스터 아키텍처로 엮어 특히 AI 애플리케이션과 같은 높은 수준의 요구 사항을 충족합니다.

사용자가 Power 플랫폼에서 모델 훈련, 미세 조정 또는 추론과 같은 AI 관련 작업을 수행하면 Power의 분산형 네트워크는 최적화 알고리즘을 통해 매우 짧은 시간에 전 세계 컴퓨팅 노드에 최고의 AI를 신속하게 배포할 수 있습니다. 사용자에게 서비스를 제공하기 위한 컴퓨팅 리소스입니다.

동시에 Power는 B측 사용자에게 동적 클러스터 전략을 제공합니다. 이 전략은 몇 초 만에 노드를 지능적으로 재구성하고 구성하여 사용자 정의 가능하고 확장성이 뛰어나며 중복성이 높은 독점 클러스터를 제공합니다.

2. 완전한 AI 생태계: 컴퓨팅 성능 사용에 대한 임계값을 낮추고 분산형 네트워크 애플리케이션 시나리오 확장

NetMind가 AI 분야에서 수년간 축적한 결과, Power Network에는 기본 컴퓨팅 성능 외에도 오픈 소스 모델 라이브러리가 포함됩니다. 서비스, ​​AI 데이터 세트, 데이터 및 모델 암호화와 같은 AI 생태 기반뿐만 아니라 모델 교육, 추론 및 배포와 같은 포괄적인 서비스를 통해 MaaS(Model as a Service) 플랫폼을 생성하여 컴퓨팅 파워 제공업체와 AI 애플리케이션 모두에 권한을 부여합니다. .

과학 연구자, AI 분야 중소기업, 전통 기업을 위한 AI+ 프로젝트를 목표로 하는 Power의 MaaS 플랫폼은 특히 중소기업과 전통 기업의 컴퓨팅 파워 사용 문턱을 크게 낮춰줄 것입니다. 전문적인 AI 개발 역량이 없는 기업의 경우 특히 중요합니다.

기존 컴퓨팅 전력 공급업체의 경우 Power 네트워크의 도움으로 더 많은 사용자에게 다가갈 수 있습니다. 또한 Power의 MaaS 플랫폼을 통해 애플리케이션 시나리오를 확장하고 더 높은 수익을 얻을 수 있습니다. 이러한 방식으로 Power Network는 기존의 중소 규모 중앙 집중식 컴퓨팅 성능을 분산형 컴퓨팅 파워 네트워크에 통합하여 네트워크 규모를 크게 확장할 수 있습니다.

3. 비동기식 훈련 알고리즘 - 네트워크 병목 현상을 해결하고 유휴 컴퓨팅 성능의 잠재력을 활용하세요

현재 기계 학습 분야, 특히 대규모 언어 모델 훈련에서는 일반적으로 전용 GPU 케이블이나 고대역폭 내부 네트워크를 통해 GPU 간에 동기식 분산 훈련을 달성해야 하므로 훈련 임계값과 비용이 필연적으로 증가합니다.

NetMind Power는 자체 개발한 모델 분할 및 데이터 비동기 기술을 통해 분산 교육에서 네트워크 속도와 대역폭의 장벽을 허물고 있습니다. 지구 곳곳에 분산된 교육 노드도 직장에서 동시에 대규모 모델 교육에 참여할 수 있습니다.

4. 모델 암호화 및 데이터 격리 - 분산 네트워크의 보안 문제 해결

Power는 분산 자원 컴퓨팅 시나리오에서 사용자의 AI 모델 및 데이터의 보안을 보장하는 고유한 모델 암호화 기술을 제공합니다. 모든 네트워크 통신은 암호화되어 데이터 전송의 보안을 보장합니다. 데이터 격리 및 모델 분할은 분산 네트워크의 단일 노드가 완전한 데이터와 모델을 얻을 수 없도록 보장하여 보안을 크게 향상시킵니다.

Pictures

두 번째, 다년간 해외에서 창업을 해 온 칭화 배경의 또 다른 팀

NetMind.AI의 핵심 팀은 칭화 출신으로 AI 분야에서 10년 이상 근무해 왔습니다. 연령.

회사의 창립자이자 CEO인 Kai Zou는 2010년에 칭화대학교 수학과 물리학 기초 과학 수업을 졸업하고 2013년 조지타운 대학교에서 수학과 통계학 석사 학위를 받았습니다.

ProtagoLabs와 비영리단체 AGI Odyssey를 모두 이끈 연쇄 창업가입니다. 동시에 그는 엔젤 투자자이기도 하며 Haiper.ai, Auto Edge, Qdot 및 Orbit를 포함한 많은 AI 스타트업에 투자했습니다.

Kai Zou와 OpenAI 연구원 Jason Wei가 출판한 논문 "EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks"가 2,000회 이상 인용되었다는 점은 주목할 가치가 있습니다. CEO와 그의 팀은 자신들이 구축한 플랫폼이 실제로 학술 연구를 하는 학자들과 AI 발전을 촉진하는 기업 엔지니어들에게 자원을 제공해야 한다고 굳게 믿습니다.

사진

회사의 CTO는 2016년에 George Washington University에서 컴퓨터 과학 석사 학위를 취득했으며 NetMind.AI에 합류하기 전에는 Microsoft에서 수석 팀 리더로 재직했으며 블록체인 기술, 그는 하이브리드 시스템, Kubernetes, 클라우드 컴퓨팅, Azure 및 AWS에 대한 광범위한 경험을 보유하고 있으며 엣지 컴퓨팅, 풀 스택 개발 및 기계 학습 분야에서 전문적인 기술을 보유하고 있습니다.

3. 궁극적인 이상: AI를 모든 가정에 제공

NetMind의 분산형 AI 비전 뒤에는 실제로 포용적 기술이라는 이상이 있습니다.

IT 기술 발전의 역사를 되돌아보면 컴퓨팅 자원의 중앙집중화가 급격히 증가하면서 탈중앙화 추세가 자주 나타나는데, 상향식 세력으로서 모든 자원을 독점하여 개방하려는 거대 기업에 맞서 싸웁니다. 새로운 시대. 이러한 기술 포괄성 덕분에 새로운 기술이 세계 곳곳으로 확산되었습니다.

오늘의 대형모델 시장이 바로 그런 순간이 아닐까 싶습니다.

대형 모델 시장을 보면 1년 동안 활발히 발전한 끝에 실제로 발판을 마련할 수 있는 스타트업은 많지 않습니다. 몇몇 스타 유니콘을 제외하면 대형 모델의 미래는 마이크로소프트, 구글, 엔비디아 등 거대 기술 기업에 집중되고 있는 것으로 보인다. 시간이 지남에 따라 몇몇 회사는 가격, 가용성 및 컴퓨팅 리소스에 대한 액세스에 대한 독점 통제권을 개발할 수 있습니다.

지금 AGI 스토리의 새로운 청사진을 작성하려면 NetMind Power와 같은 민주화된 내러티브가 필요합니다.

현재 NetMind는 학술 및 상업 분야에서 협력하고 있습니다. -

학술적인 측면에서 NetMind Power는 현재 컴퓨터 공학 분야의 최고 대학인 케임브리지 대학교, 옥스퍼드 대학교를 포함하여 국내외 최고의 대학과 협력하고 있습니다. 및 카네기멜론대학교, 칭화대학교, 화중과학기술대학교, 라이스대학교, 푸단대학교, 상하이교통대학교 등

Pictures

비즈니스 측면에서 NetMind Power는 기업에 분산 네트워크 기반의 AI 컴퓨팅 파워 솔루션을 제공하여 기업이 모델 개발 및 제품 혁신에 집중할 수 있도록 합니다. 점점 더 많은 기업들이 넷마인드파워의 도움을 받아 AI 혁신 제품 출시에 박차를 가하고 있습니다. 예를 들어, 최근 북미에서 탄력을 받고 있는 Wensheng 비디오 팀인 Haiper.ai는 모델 훈련 및 추론을 NetMind Power 플랫폼과 깊이 통합했습니다.

앞으로 NetMind Power는 점차 분산형 AI 커뮤니티로 성장하여 글로벌 AI 혁신을 가속화할 것입니다.

AI 응용 분야의 기계 학습 실무자, 학술 연구원 및 기업은 NetMind Power 플랫폼에서 필요한 컴퓨팅 성능과 모델을 찾을 수도 있으며 플랫폼에서 자체적으로 훈련된 모델을 호스팅하거나 심지어 이를 제공할 수도 있습니다. 플랫폼을 통해 다른 사용자에게 특정 수수료를 부과합니다.

사용자는 플랫폼에서 해당 컴퓨팅 성능을 사용하여 자신의 교육 요구 사항을 해결할 수 있을 뿐만 아니라 플랫폼을 통해 도움이 필요한 더 많은 사람이나 회사에 훈련된 모델을 계층별로 전달할 수 있습니다.

타임라인을 연장하여 AGI를 진정으로 실현하려면 AI의 보편화와 민주화가 불가피한 전제 조건입니다. 오늘날 선두에 선 NetMind.AI는 스스로 기여하고 더 많은 파트너를 찾아 민주적 AGI 시대를 향한 작은 발걸음을 내딛고 있습니다.

위 내용은 Tsinghua 팀, 새로운 플랫폼 출시: 분산형 AI를 사용하여 컴퓨팅 전력 부족 해소의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!