Tencent, 컴퓨팅 전력 비용을 50% 절감하는 최신 대형 모델 학습 방법 공개

컴퓨팅 파워가 부족한 상황에서 어떻게 하면 대규모 모델 훈련과 추론의 효율성을 높이고 비용을 절감할 수 있을지가 업계의 초점이 되었습니다.

11월 23일, Tencent는 Tencent의 Hunyuan 대형 모델을 뒷받침하는 자체 개발 기계 학습 프레임워크인 Angel이 다시 업그레이드되었다고 공개했습니다. 대형 모델 훈련 효율성이 주류 오픈 소스 프레임워크보다 2.6배 증가했습니다. 수천억 개의 대규모 모델 교육을 통해 컴퓨팅 성능 비용을 50% 절감할 수 있습니다. 업그레이드된 Angel은 단일 작업으로 10,000ka 수준의 초대형 훈련을 지원하여 Tencent Cloud의 HCC 대형 모델 전용 컴퓨팅 클러스터의 성능과 효율성을 더욱 향상시킵니다.

동시에 Angel은 모델 개발부터 애플리케이션 구현까지 원스톱 플랫폼을 제공하여 사용자가 API 인터페이스 또는 미세 조정을 통해 Tencent Hunyuan 대형 모델 기능을 신속하게 호출할 수 있도록 지원하고 대형 모델 애플리케이션 구축을 가속화합니다. Tencent 컨퍼런스, Tencent News 및 Tencent Video를 포함한 300개 이상의 Tencent 제품 및 시나리오가 Tencent Hunyuan 내부 테스트에 연결되었습니다.

현재 Tencent Cloud를 통해 관련 기능이 외부 세계에 공개되었습니다. 업그레이드된 Angel 기계 학습 프레임워크를 기반으로 Tencent Cloud TI 플랫폼은 더 나은 교육 및 추론 가속화 기능을 제공하고 고객이 원스톱 교육 및 미세 조정을 위해 자체 데이터를 사용하도록 지원하며 Tencent의 Hunyuan 대규모 기반을 기반으로 독점적인 지능형 애플리케이션을 만들 수 있습니다. 모델.

자체 개발한 머신러닝 프레임워크가 업그레이드되어 대형 모델 학습 및 추론의 효율성이 더욱 향상되었습니다.

대형 모델 시대가 도래하면서 모델 매개변수가 기하급수적으로 증가하여 조 수준. 대형 모델은 단일 양식 및 작업 지원에서 여러 양식의 여러 작업 지원으로 점차 발전합니다. 이러한 추세에 따라 대규모 모델 훈련에는 단일 칩의 처리 속도를 훨씬 초과하는 엄청난 컴퓨팅 성능이 필요하며 다중 카드 분산 훈련의 통신 손실도 엄청납니다. 하드웨어 자원의 활용률을 어떻게 향상시킬 것인가는 국내 대형모델 기술의 개발과 실용화를 위한 중요한 전제조건이 되었다.

대형 모델을 훈련하기 위해 Tencent는 사전 훈련, 모델 미세 조정 및 강화 학습의 전체 프로세스를 가속화하고 최적화하는 AngelPTM이라는 기계 학습 훈련 프레임워크를 개발했습니다. AngelPTM은 최신 FP8 혼합 정밀 훈련 기술을 채택하고, 깊이 최적화된 4D 병렬성과 ZeROCache 메커니즘을 결합하여 다양한 국내 하드웨어와 호환되며 더 적은 리소스와 더 빠른 속도로 훈련할 수 있습니다

In. 2023년 4월 Tencent Cloud는 이전 세대에 비해 성능이 3배 향상된 대형 모델용 차세대 HCC 고성능 컴퓨팅 클러스터를 출시했습니다. 하드웨어 업그레이드 외에도 HCC는 네트워크 프로토콜, 통신 전략, AI 프레임워크 및 모델 컴파일에 대한 시스템 수준 최적화를 수행하여 교육, 조정 및 컴퓨팅 전력 비용을 크게 줄였습니다. AngelPTM은 이전에 HCC를 통해 서비스를 제공한 적이 있습니다. 이번 업그레이드로 HCC의 대형 모델 전용 컴퓨팅 클러스터 성능이 더욱 향상되어 기업이 대형 모델의 실제 적용을 가속화할 수 있습니다.

모델 매개변수 훈련 과제 증가와 추론 비용 상승 문제를 해결하기 위해 Tencent가 자체 개발한 대형 모델 추론 프레임워크인 AngelHCF는 병렬 기능을 확장하고 다중 주의 최적화 전략을 채택하여 성능을 향상했습니다. 동시에 프레임워크는 처리량을 향상시키기 위해 다양한 압축 알고리즘에 적용되어 더 빠른 추론 성능과 더 낮은 비용을 달성하고 대규모 모델 추론 서비스를 지원합니다

업계의 주류 프레임워크와 비교하여 AngelHCF의 추론 속도 1.3배 향상되었습니다. Tencent의 Hunyuan 대형 모델 Wenshengtu를 적용하면 추론 시간이 원래 10초에서 3~4초로 단축되었습니다. 또한 AngelHCF는 다양하고 유연한 대형 모델 압축 및 양자화 전략을 지원하고 자동 압축을 지원합니다

원스톱 애플리케이션 구축을 지원하여 대형 모델을 "즉시" 사용할 수 있습니다

실용적으로- 수준의 대형 모델, Tencent Hybrid Yuanta 모델은 연구 개발 초기부터 응용 시나리오를 지향해 왔으며, 실제로 대형 모델을 구현하는 데 따르는 어려움을 해결했습니다. Tencent는 다양한 유형의 제품과 애플리케이션, 그리고 엄청난 양의 트래픽을 보유하고 있으므로 모델을 실제로 "사용"하는 것은 매우 어렵습니다. Tencent는 Angel을 기반으로 데이터 처리, 미세 조정, 모델 평가, 원클릭 배포, 프롬프트 단어 최적화 등의 서비스를 포함하여 대규모 모델 액세스 및 애플리케이션 개발을 위한 원스톱 플랫폼을 구축하여 대규모 모델을 사용할 수 있도록 했습니다. "즉시 사용 가능"이 가능해졌습니다.

모델 액세스 측면에서 Tencent Hunyuan Large Model은 1000억, 100억, 10억 이상의 크기를 갖춘 모델을 제공하여 다양한 응용 시나리오의 요구 사항에 완벽하게 적응합니다. 간단한 미세 조정을 통해 비즈니스 요구 사항을 충족하고 모델 교육 및 추론 서비스에 대한 리소스 비용을 줄일 수 있습니다. Q&A 및 콘텐츠 분류와 같은 일반적인 애플리케이션 시나리오에서는 비용 효율성이 더 높습니다

애플리케이션 개발 수준에서 Tencent 내의 300개 이상의 비즈니스 및 애플리케이션 시나리오가 내부 테스트를 위해 Tencent Hunyuan 대형 모델에 연결되었습니다. 지난달과 비교하면 텍스트 요약, 초록, 창작, 번역, 코딩 등 다양한 분야를 포함해 그 수가 두 배로 늘었습니다.

2023년 9월, Tencent가 독자적으로 개발한 실용적인 대형 모델인 Tencent Hunyuan이 Tencent Cloud를 통해 공식 공개 및 오픈되었습니다. Tencent Hunyuan의 매개변수 규모는 1,000억 개가 넘고, 사전 학습 코퍼스에는 2조 개 이상의 토큰이 포함되어 있습니다. Tencent의 독립적인 기술 축적을 사전 학습 알고리즘, 머신 러닝 플랫폼 및 기본 컴퓨팅 리소스에 통합하고 애플리케이션에서 지속적으로 반복하여 대규모 모델 기능을 지속적으로 최적화합니다. 현재 소매, 교육, 금융, 의료, 미디어, 운송, 정부 업무 등 다양한 산업 분야의 고객이 Tencent Cloud

를 통해 Tencent Hunyuan 대규모 모델에 액세스했습니다.

위 내용은 Tencent, 컴퓨팅 전력 비용을 50% 절감하는 최신 대형 모델 학습 방법 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!