과학기술발전상 1등상 표창: Tencent는 수조 개의 매개변수를 사용하여 대형 모델을 훈련하는 문제를 해결했습니다.

China Electronics Society 2023 Science and Technology Awards 수상자 목록이 발표되었습니다. 이번에는 친숙한 인물인 Tencent Angel 기계 학습 플랫폼을 발견했습니다.

대형 모델의 급속한 발전과 함께 과학 기술상은 기계 학습 플랫폼 연구 및 응용 프로젝트에 수여되어 모델 훈련 플랫폼의 가치와 중요성을 충분히 확인합니다.

과학 기술상은 특히 대규모 모델의 급속한 발전이라는 맥락에서 기계 학습 플랫폼 프로젝트의 연구 및 적용을 인정하고 모델 교육 플랫폼의 가치와 중요성을 완전히 인식한 것입니다.

딥러닝의 등장과 함께 주요 기업들은 인공지능 기술 발전에 있어 머신러닝 플랫폼의 중요성을 깨닫기 시작했습니다. Google, Microsoft, Nvidia와 같은 회사는 인공 지능 모델의 훈련 프로세스 속도를 높이기 위해 자체 기계 학습 플랫폼을 출시했습니다. 이러한 플랫폼은 개발자에게 편리한 지원을 제공하므로 복잡한 인공 지능 시스템을 더 빠르게 구축하고 최적화할 수 있습니다. 이러한 추세로 인해 사람들은 머신러닝 기술 개발에 더 많은 관심을 갖게 되었고 미래 인공지능 응용을 위한 탄탄한 기반을 마련했습니다.

2023년부터는 대형 모델의 등장으로 모델 매개변수의 증가가 더욱 촉진될 것입니다. 주요 기업은 매개변수 규모가 수천억, 심지어 수조에 달하는 모델을 출시했으며, 이러한 모델은 일반적으로 심층 신경망 구조를 채택합니다. 그러나 이러한 개발로 인해 모델 분산 교육의 어려움과 애플리케이션 복잡성으로 인한 모델 설계 문제라는 두 가지 핵심 문제점도 발생했습니다.

왜 엔젤 머신러닝 플랫폼인가요?

네 가지 핵심 기술 혁신에 대한 자세한 설명

다양한 학자 및 기타 권위 있는 전문가로 구성된 평가 위원회는 Tencent Angel 기계 학습 플랫폼이 기술적으로 복잡하고, 개발하기 어렵고, 혁신적이며, 폭넓은 적용 가능성을 가지고 있다고 믿습니다. 전체 기술은 국제 선진 수준에 도달했으며 그 중 전체 통신을 위한 효율적인 캐시 스케줄링 및 관리 기술, 적응형 사전 샘플링 및 그래프 구조 검색 기술은 국제 선두 수준에 도달했습니다. El Tencent Angel 플랫폼 아키텍처

Tencent의 Angel 기계 학습 플랫폼은 분산 매개변수 서버 아키텍처를 사용합니다. 이 아키텍처는 저장 모델 매개변수와 실행 모델의 두 가지 작업이 서로 다른 서버에서 실행되는 것이 특징입니다. 더 많은 서버를 추가하면 컴퓨팅 요구 사항이 더 높은 대규모 모델을 지원할 수 있습니다. 이 아키텍처는 모델 훈련 프로세스를 더욱 효율적으로 만들고 대규모 데이터 세트와 복잡한 모델 계산을 처리할 수 있습니다. 분산 매개변수 서버의 설계를 통해 시스템의 확장성과 유연성이 향상되고 다양한 규모와 요구 사항의 기계 학습 작업을 충족할 수 있습니다. 이 아키텍처의 장점은 클러스터 리소스를 효과적으로 활용하고 컴퓨팅 효율성을 향상하며 사용자에게 더 빠르고 효율적인 서비스를 제공할 수 있다는 것입니다.

대량 데이터 및 초대형 모델 교육 요구에 직면한 Tencent Angel 기계 학습 플랫폼은 네트워크에 있습니다. 통신 및 캐싱, 모델 저장 및 스케줄링, 다중 모드 모델 및 융합 학습 정렬, 대규모 그래프 모델 및 구조 검색 기술과 같은 핵심 영역에서 기술적 혁신이 달성되었습니다.

훈련 효율성을 높이기 위해 TB 수준 기계 학습 모델은 일반적으로 많은 수의 매개변수와 경사 동기화가 필요한 분산 훈련 방법을 사용합니다. 1.8T 모델 킬로칼로리 훈련을 예로 들면 IO 통신량입니다. 또한, 서로 다른 컴퓨팅 성능 클러스터 간의 이기종 네트워크 환경과 다양한 통신 네트워크 지연으로 인해 모델 훈련 중 통신 오버헤드에 대한 요구 사항이 높아졌습니다. Tencent Angel 기계 학습 플랫폼은 Tencent Cloud Xingmai 네트워크의 효율적인 통신 및 캐시 스케줄링 관리 기술을 기반으로 합니다. 이는 TB 수준 모델 훈련을 위한 높은 통신 오버헤드 문제를 효과적으로 해결하고 네트워크 통신 시간을 80% 단축하며 분산을 달성할 수 있습니다. 업계 주류 솔루션의 2.5배에 달하는 교육 성과를 제공합니다.

현재 컴퓨팅 성능 조건에서는 모델이 TB 수준에 도달했지만 주류 GPU의 비디오 메모리는 여전히 80G에 불과하고 매개변수 저장에 병목 현상이 있습니다. 테라바이트 수준의 모델 학습 매개변수 저장이 어렵다는 주요 문제에 대응하여 Tencent Angel 기계 학습 플랫폼은 비디오 메모리와 메인 메모리의 통합된 관점에서 스토리지 관리 메커니즘을 제안합니다. 산업 및 교육 성과는 업계의 주류 솔루션의 두 배입니다.

대규모 모델을 일반 모델로 발전시키는 것은 다중 모드 데이터의 처리 지원과 불가분의 관계로, 텍스트, 이미지, 비디오 및 기타 데이터 등 다양한 양식의 정렬, 융합 및 이해가 어렵습니다. 다중 모드 모델 훈련에서 Tencent Angel 기계 학습 플랫폼은 광고 시나리오에 대한 다중 모드 융합 학습을 기반으로 하는 전체 링크 순위 광고 추천 기술을 제안하여 광고 회상률을 40% 이상 높이는 데 도움을 줍니다.

또한 추천 시스템을 위한 그래프 모델 훈련을 위해 Tencent Angel 기계 학습 플랫폼은 그래프 노드 기능 적응형 그래프 네트워크 구조 검색 기술을 설계했습니다. 이는 자동으로 최적의 구조를 출력하고 TB 그래프의 "그래프 문제"를 해결할 수 있습니다. 모델 애플리케이션의 "데이터 마이닝이 어렵다"는 문제를 해결하면서 모델 훈련 성능이 28배 향상되었으며 업계 최고의 확장성을 갖췄습니다.

Tencent Angel 기계 학습 플랫폼을 만드는 길

Tencent Hunyuan 대형 모델이 수조 규모로 확장

Tencent 인공 지능 기술의 기본 플랫폼으로 Tencent Angel 플랫폼은 2015년에 탄생했으며 PS-Worker를 지원합니다. 분포 공식 훈련 및 10억 매개변수 LDA 모델 훈련.

2017년에는 Angel 프레임워크가 Github에 오픈 소스화되어 개발자에게 공개되었습니다. 동시에 Angel은 기술적으로 이종 네트워크에서의 통신 문제를 해결하고 성능을 더욱 향상시켰습니다. 2019년에 우리는 확장 가능한 그래프 모델의 다중 모드 이해 기술에서 획기적인 발전을 이루었고, 수조 개의 노드가 있는 확장 가능한 그래프 모델의 문제를 해결했습니다. 2021년에는 대규모 모델 매개변수 저장 및 성능 문제를 해결하기 위해 GPU 메모리 통합 관점 저장 기술이 제안되었습니다.

Tencent의 대규모 일반 인공 지능 모델을 만드는 데에는 Tencent의 Angel 기계 학습 플랫폼인 Tencent Hunyuan도 중요한 역할을 했습니다.

2023년 9월, Tencent의 Hunyuan 대형 모델이 대중에게 공식적으로 공개되었습니다. 사전 훈련 코퍼스는 2조 토큰을 초과하며 강력한 중국어 이해 및 생성 능력, 논리적 추론 능력, 신뢰할 수 있는 작업 실행 능력을 갖추고 있습니다.

Tencent Hunyuan 대형 모델을 구축해야 하는 필요성에 직면한 Tencent Angel 기계 학습 플랫폼은 대형 모델 훈련 및 추론을 위해 자체 개발한 기계 학습 프레임워크인 Angel PTM 및 Angel HCF를 만들어 단일 작업 10,000ka 수준의 초대형 작업을 지원합니다. 규모 훈련 및 대규모 규모 추론 서비스 배포. 대형 모델 학습 효율성이 주류 오픈소스 프레임워크보다 2.6배 향상되었으며, 수천억 개의 대형 모델 학습으로 컴퓨팅 전력 비용을 50% 절감할 수 있으며, 10,000개 카드의 초대형 학습을 지원합니다. 작업별로. 추론 측면에서 Tencent Angel 기계 학습 플랫폼의 추론 속도는 Tencent Hunyuan 대형 모델 Wenshengtu의 적용에서 원래 10초에서 3~4초로 단축되었습니다.

또한 Angel은 모델 개발부터 애플리케이션 구현까지 원스톱 플랫폼을 제공하여 사용자가 API 인터페이스 또는 미세 조정을 통해 Tencent Hunyuan 대형 모델 기능을 신속하게 호출할 수 있도록 지원하고 대형 모델 애플리케이션 구축을 가속화하며 Tencent 컨퍼런스, Tencent 뉴스, Tencent Video, 400개 이상의 Tencent 제품 및 시나리오가 Tencent Hunyuan 내부 테스트에 연결되었습니다.

Tencent Hunyuan은 혼합 전문가 모델(MoE) 구조를 채택하여 모델을 수조 개의 매개변수 규모로 확장하고 성능 개선과 추론 비용 절감을 촉진했습니다. 일반 모델로서 Tencent Hunyuan은 중국어 성능, 특히 텍스트 생성, 수학적 논리 및 다중 회전 대화 분야에서 업계를 선도하고 있습니다. 현재 Tencent Hunyuan은 Vincent 사진과 Vincent 비디오의 기능을 더욱 향상시키기 위해 다중 모드 모델을 적극적으로 개발하고 있습니다.

Tencent의 수많은 애플리케이션 시나리오는 Tencent Angel 기계 학습 플랫폼 구현을 위한 실험적 기반을 제공합니다. Tencent의 Hunyuan 대형 모델 외에도 Tencent의 Angel 기계 학습 플랫폼은 Tencent 광고 및 Tencent 컨퍼런스와 같은 제품을 지원하고 Tencent Cloud를 통해 여러 산업 및 기업 고객에게 서비스를 제공하여 각계각층의 디지털 및 지능형 개발을 지원합니다.

Tencent Advertising을 예로 들면, Tencent Angel 기계 학습 평면 분산 교육 최적화 및 다중 모드 이해 그래프 데이터 마이닝과 같은 혁신적인 기술을 사용하여 광고 비즈니스 시나리오에서 다중 모드 대형 모델의 교육 속도가 5배 향상되었습니다. , 모델 크기가 10배 증가하여 광고 회상률이 크게 증가했습니다.

위 내용은 과학기술발전상 1등상 표창: Tencent는 수조 개의 매개변수를 사용하여 대형 모델을 훈련하는 문제를 해결했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!