Tsinghua 팀의 또 다른 오픈소스 걸작인 '클릭베이트'를 제거하세요!

이름 짓는 게 고민인 제가 고등학교 때 에세이를 쓸 때 가장 힘들었던 점은 좋은 글을 쓸 수 있는데 제목이 뭔지 모르겠어요. 제목을 생각할 때마다 머리카락이 많이 옵니다...

최근에 마침내 Tsinghua University와 OpenBMB 오픈 소스 커뮤니티에서 출시한 대형 모델 흥미로운 애플리케이션인 GitHub에서 "네이밍 낭비"의 빛을 발견했습니다. 캡처". 텍스트 내용을 입력하면 원클릭으로 화제를 불러일으킬 수 있습니다. 제목!

사용해보고 나면 바로 사용할 수 있습니다. 냄새가 정말 좋아요!

온라인 경험: https://live.openbmb.org/ant

GitHub: https://github.com/OpenBMB/CPM-Live

언급됨 헤드라인을 장식하는 이 인공물에 대해 먼저 그 "본체"인 대형 모델 CPM-Ant에 대해 이야기해야 합니다.

CPM-Ant는 중국에서 실시간으로 훈련된 최초의 수백억 모델입니다. 훈련은 68일이 소요되었으며 2022년 8월 5일에 완료되었으며 OpenBMB를 통해 공식 출시되었습니다!

• 5가지 뛰어난 기능
• 4가지 주요 혁신 혁신
• 교육 과정은 저렴하고 환경 친화적입니다!
• 가장 중요한 것은 - 완전한 오픈 소스입니다!

중국 대형 모델의 최초 생방송 교육인 CPM-Ant는 대형 모델 교육, 미세 조정, 압축, 추론, 응용 등에서 실현 가능한 실용적인 솔루션을 제공합니다. 도움말 및 참조.

이제 CPM-Ant 출시 결과 콘텐츠 리포트를 살펴보겠습니다!

모델 개요

CPM-Ant는 10B 매개변수를 갖춘 오픈 소스 중국어 사전 학습 언어 모델이며 CPM-Live 라이브 학습 프로세스의 첫 번째 이정표이기도 합니다.

전체 교육 과정은 비용이 저렴하고 환경 친화적입니다. 높은 하드웨어 요구 사항과 운영 비용이 필요하지 않으며 델타 튜닝 방식을 기반으로 하며 CUGE 벤치마크 테스트에서 우수한 결과를 얻었습니다.

CPM-Ant 관련 코드, 로그 파일 및 모델 매개변수는 오픈 라이센스 계약에 따라 완전히 오픈 소스입니다. 전체 모델 외에도 OpenBMB는 다양한 하드웨어 구성에 맞게 다양한 압축 버전을 제공합니다.

CPM-Ant의 다섯 가지 뛰어난 기능:

(1) 계산 효율성

BMTrain[1] 툴킷을 통해 분산 컴퓨팅 자원의 능력을 최대한 활용하여 대규모 교육을 효율적으로 수행할 수 있습니다. 모델.

CPM-Ant의 훈련은 68일 동안 진행되었으며 비용은 430,000위안입니다. 이는 Google이 T5-11B 모델을 훈련하는 데 드는 약 130만 달러의 1/20 수준입니다. CPM-Ant 훈련의 온실가스 배출량은 약 4872kg CO2e인 반면, T5-11B 훈련의 온실가스 배출량은 46.7t CO2e[9]입니다. CPM-Ant 솔루션은 배출량의 약 1/10입니다.

(2) 뛰어난 성능

OpenDelta[3] 도구를 사용하면 점진적인 미세 조정을 통해 CPM-Ant를 다운스트림 작업에 적용하는 것이 매우 편리합니다.

실험에 따르면 CPM-Ant는 6.3M 매개변수만 미세 조정하여 3/6 CUGE 작업에서 최상의 결과를 달성하는 것으로 나타났습니다. 이 결과는 다른 완전 매개변수 미세 조정 모델을 능가합니다. 예를 들어 CPM-Ant의 미세 조정 매개변수 수는 CPM2(미세 조정 11B 매개변수)의 0.06%에 불과합니다.

(3) 배포 경제

BMCook[7] 및 BMInf[4] 툴킷의 도움으로 CPM-Ant는 제한된 컴퓨팅 리소스에서도 구동될 수 있습니다.

BMInf를 기반으로 컴퓨팅 클러스터를 대체하고 단일 GPU(GTX 1060과 같은 소비자급 그래픽 카드도 포함)에서 대규모 모델 추론을 수행할 수 있습니다. CPM-Ant 배포를 더욱 경제적으로 만들기 위해 OpenBMB는 BMCook을 사용하여 원래 10B 모델을 다른 버전으로 더욱 압축합니다. 압축된 모델(7B, 3B, 1B, 300M)은 다양한 저자원 시나리오의 요구 사항에 적응할 수 있습니다.

(4) 사용하기 쉬움

원래 10B 모델이든 관련 압축 버전이든 코드 몇 줄만으로 쉽게 로드하고 실행할 수 있습니다.

OpenBMB는 ModelCenter[8]에 CPM-Ant도 추가하여 모델의 추가 개발을 더 쉽게 만듭니다.

(5) 열린 민주주의

CPM-Ant의 교육 과정은 완전히 공개되어 있습니다.

OpenBMB는 모든 코드, 로그 파일 및 모델 아카이브를 오픈 액세스로 게시합니다. CPM-Ant는 상용화도 가능한 오픈 라이선스를 채택하고 있다.

완전한 대형 모델 훈련 실습

대형 모델 훈련이 가능한 제조업체 및 연구 기관을 위해 CPM-Ant 훈련 프로세스는 완전한 중국 대형 모델 훈련 실제 기록을 제공합니다.

OpenBMB는 CPM-Live 모델 시리즈의 모델 설계, 교육 계획, 데이터 요구 사항 및 구현 코드를 출시했습니다. CPM-Live의 모델 아키텍처를 기반으로 대규모 모델 학습 솔루션을 빠르고 쉽게 설계 및 구현하고, 관련 비즈니스 데이터를 정리하여 모델 사전 조사 및 데이터 준비를 완료하는 것이 가능합니다.

공식 웹사이트에는 손실 함수, 학습률, 학습된 데이터, 처리량, 기울기 크기, 비용 곡선, 내부 매개변수의 평균 및 표준편차 실시간 표시 등 훈련 과정 중 모든 훈련 역학이 기록되어 있습니다. 이러한 훈련 역학을 통해 사용자는 모델 훈련 과정에 문제가 있는지 신속하게 진단할 수 있습니다.

모델 훈련의 내부 매개변수 실시간 표시

또한 OpenBMB의 R&D 수강생들은 훈련 기록 요약을 매일 실시간으로 업데이트합니다. 요약에는 손실 값, 기울기 값이 포함됩니다. , 전반적인 진행 상황 및 기록 발생 훈련 과정에서 발생하는 일부 문제와 버그는 사용자가 모델 훈련 중에 발생할 수 있는 다양한 "구덩이"를 미리 이해하는 데 도움이 됩니다.

모델 교육이 "조용한" 날에는 R&D 담당자가 유명한 인용문을 던지고 최신 논문을 소개하며 추측 활동도 시작합니다.

로그의 추측 활동

또한 OpenBMB는 관련 교육 가속화 기술을 통해 실제로 대규모 모델 교육이 필요한 기업을 위해 비용 효율적인 교육 솔루션도 제공합니다. 허용 가능한 수준으로 감소되었습니다.

BMTrain[1] 툴킷을 사용하면 수백억 개의 대형 모델 CPM-Ant 교육의 컴퓨팅 성능이 단 430,000위안(현재 비용은 퍼블릭 클라우드 가격에 따라 계산되며 실제 비용은 더 낮음), 이는 11B 대형모델 T5 외장형으로 예상비용 130만달러의 약 1/20 수준!

SOTA를 반복적으로 생성한 효율적인 미세 조정 솔루션

CPM-Ant는 다운스트림 작업 적응에 어떻게 도움이 될까요?

대규모 모델 연구자를 위해 OpenBMB는 효율적인 매개변수 미세 조정을 기반으로 하는 대규모 모델 성능 평가 솔루션을 제공하여 신속한 다운스트림 작업 적응과 모델 성능 평가를 용이하게 합니다.

델타 튜닝으로 알려진 매개변수 효율적인 미세 조정을 사용하여 6개 다운스트림 작업에서 CPM-Ant의 성능을 평가합니다. LoRA [2]는 각 Attention 레이어에 두 개의 조정 가능한 하위 순위 행렬을 삽입하고 원래 모델의 모든 매개 변수를 고정하는 실험에 사용되었습니다. 이 접근 방식을 사용하면 작업당 630만 개의 매개변수만 미세 조정되었으며 이는 전체 매개변수의 0.067%에 불과합니다.

OpenDelta[3]의 도움으로 OpenBMB는 원본 모델의 코드를 수정하지 않고 모든 실험을 수행했습니다. 다운스트림 작업에서 CPM-Ant 모델을 평가할 때 데이터 증대 방법이 사용되지 않았다는 점에 유의해야 합니다. 실험 결과는 다음 표에 나와 있습니다.

몇 가지 매개 변수만 미세 조정하면 OpenBMB 모델의 성능이 세 가지 데이터 세트에서 CPM-2 및 소스 1.0을 초과했음을 알 수 있습니다.

미세 조정된 매개변수가 거의 없으면 일부 작업(예: LCSTS)은 배우기 어려울 수 있습니다. CPM-Live의 교육 과정은 계속 진행되며 각 작업의 성능은 더욱 다듬어질 것입니다.

관심 있는 학생들은 아래 GitHub 링크를 방문하여 CPM-Ant와 OpenDelta를 먼저 경험하고 다른 작업에서 CPM-Ant의 기능을 더 자세히 살펴볼 수 있습니다!

https://github.com/OpenBMB/CPM-Live

하드웨어 친화적인 추론 방법 시리즈

대형 모델의 성능은 놀랍지만 하드웨어 요구 사항과 운영 비용이 높습니다. 항상 많은 사용자가 문제였습니다. 대형 모델 사용자를 위해 OpenBMB는 다양한 하드웨어 환경에서 다양한 모델 버전을 보다 쉽게 ​​실행할 수 있는 일련의 하드웨어 친화적인 사용 방법을 제공합니다.

BMInf[4] 툴킷을 사용하면 CPM-Ant는 단일 카드 1060과 같은 낮은 리소스 환경에서도 실행될 수 있습니다!

또한 OpenBMB는 CPM-Ant도 압축합니다. 이러한 압축 모델에는 CPM-Ant-7B/3B/1B/0.3B가 포함됩니다. 이러한 모델 압축 크기는 모두 기존 오픈 소스 사전 학습된 언어 모델의 기본 크기에 해당할 수 있습니다.

사용자가 릴리스된 체크포인트에서 추가 개발을 수행할 수 있다는 점을 고려하여 OpenBMB는 주로 작업 독립적인 구조적 가지치기를 사용하여 CPM-Ant를 압축합니다. 가지치기 과정도 점진적이다. 즉, 10B에서 7B로, 7B에서 3B로, 3B에서 1B로, 마지막으로 1B에서 0.3B로 진행된다.

특정 가지치기 프로세스에서 OpenBMB는 동적 학습 가능 마스크 행렬을 훈련한 다음 이 마스크 행렬을 사용하여 해당 매개변수를 가지치기합니다. 마지막으로, 목표 희소성을 기반으로 결정되는 마스크 행렬의 임계값에 따라 매개변수가 가지치기됩니다. 압축에 대한 자세한 내용은 기술 블로그 [5]를 참조하세요.

다음 표는 모델 압축 결과를 보여줍니다.

이제 하드코어 콘텐츠가 끝났으니 대형 모델이 어떻게 "제목 획득"에 도움이 될까요?

예상치 못한 대형 모델 재미있는 애플리케이션

CPM-Ant를 기반으로 모든 대형 모델 개발자와 매니아가 관심 있는 흥미로운 텍스트 애플리케이션을 개발할 수 있습니다.

모델의 효율성을 더욱 검증하고 예제를 제공하기 위해 OpenBMB는 CPM-Ant 기반의 핫 타이틀 생성기를 미세 조정하여 모델 기능을 시연했습니다.

텍스트 내용을 아래 텍스트 상자에 붙여넣고 클릭하여 생성하기만 하면 대형 모델이 제공하는 흥미로운 제목을 얻을 수 있습니다!

CPM-Ant 결과 보고서의 첫 번째 기사 제목은 생성기에 의해 생성됩니다

이 데모는 지속적으로 개선될 예정이며 향후 사용자 경험을 향상하기 위해 더 많은 특수 효과가 추가될 예정입니다.

관심 있는 사용자는 CPM-Ant를 사용하여 자신만의 디스플레이 애플리케이션을 구축할 수도 있습니다. 애플리케이션 아이디어가 있거나, 기술 지원이 필요하거나, 데모를 사용하는 동안 문제가 발생하는 경우 언제든지 CPM-Live 포럼[6]에서 토론을 시작할 수 있습니다!

CPM-Ant의 출시는 CPM-Live의 첫 번째 이정표이지만 이는 교육의 첫 단계일 뿐입니다. OpenBMB는 앞으로도 일련의 교육을 계속 진행할 것입니다.

간단한 스포일러입니다. 다음 교육 세션에는 다국어 지원, 구조화된 입력 및 출력 등과 같은 새로운 기능이 추가될 예정입니다. 계속해서 관심을 가져주시는 모든 분들을 환영합니다!

포털｜프로젝트 링크

프로젝트 GitHub 주소:

https://github.com/OpenBMB/CPM-Live

데모 체험 주소(PC 접속 전용):

https: //live.openbmb.org/ant

위 내용은 Tsinghua 팀의 또 다른 오픈소스 걸작인 '클릭베이트'를 제거하세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!