


Nvidia는 가지치기 및 증류 작업을 수행합니다. 동일한 크기로 더 나은 성능을 달성하기 위해 Llama 3.1 8B의 매개변수를 절반으로 줄였습니다.
소형 모델의 대두.
지난 달 Meta는 현재까지 Meta의 가장 큰 405B 모델과 각각 700억 개의 매개변수와 80억 개의 매개변수를 가진 두 개의 작은 모델을 포함하는 Llama 3.1 모델 시리즈를 출시했습니다.
Llama 3.1은 오픈 소스의 새로운 시대를 여는 것으로 간주됩니다. 그러나 차세대 모델은 성능이 강력하더라도 배포 시 여전히 많은 양의 컴퓨팅 리소스가 필요합니다.
따라서 업계에서는 또 다른 추세가 나타났습니다. 이는 다양한 언어 작업에서 충분히 성능을 발휘하고 배포 비용도 매우 저렴한 소규모 언어 모델(SLM)을 개발하는 것입니다.
최근 NVIDIA 연구에 따르면 지식 증류와 결합된 구조화된 가중치 가지치기를 통해 처음에는 더 큰 모델에서 더 작은 언어 모델을 점차적으로 얻을 수 있는 것으로 나타났습니다. 튜링상 수상자이자 메타 AI 수석 과학자인 M 얀 레쿤(M Yann Lecun)도 이번 연구에 찬사를 보냈다.

Llama-3.1-Minitron 4B는 Minitron 4B, Phi-2 2.7B, Gemma2 2.6B 및 Qwen2-1.5B를 포함하여 비슷한 크기의 최첨단 오픈 소스 모델보다 성능이 뛰어납니다.
이 연구의 관련 논문은 이르면 지난달 발표됐습니다.

논문 링크: https://www.arxiv.org/pdf/2407.14679

- Pruning and Distillation
-
두 가지 주요 증류 방법이 있습니다. SDG 미세 조정과 고전 지식 증류입니다. 이 두 가지 증류 방법은 상호보완적입니다. 이 기사에서는 고전 지식 증류 방법에 중점을 둡니다.
NVIDIA는 가지치기와 고전 지식 증류를 결합한 방법을 사용하여 대형 모델을 구성합니다. 아래 그림은 단일 모델의 가지치기 및 증류 과정(상단)과 모델 가지치기 및 증류의 체인(하단)을 보여줍니다. 구체적인 프로세스는 다음과 같습니다. 1. NVIDIA는 15B 모델로 시작하여 각 구성 요소(레이어, 뉴런, 헤드 및 임베딩 채널)의 중요성을 평가한 다음 모델을 정렬하고 정리하여 목표 크기인 8B 모델에 도달합니다. 2. 그런 다음 원래 모델을 교사로, 정리된 모델을 학생으로 사용하여 가벼운 재훈련을 위해 모델 증류를 사용합니다. 3. 훈련 후 작은 모델(8B)을 출발점으로 삼아 가지치기하고 증류하여 더 작은 4B 모델로 만듭니다. 15B 모델의 가지치기 및 증류 과정. 주의할 점은 모델을 잘라내기 전에 모델의 어떤 부분이 중요한지 이해해야 한다는 것입니다. NVIDIA는 1024개 샘플의 소규모 보정 데이터 세트를 사용하여 모든 관련 차원(깊이, 뉴런, 헤드 및 임베딩 채널)의 정보를 동시에 계산하는 활성화 기반 순수 중요도 평가 전략을 제안하며 순방향 전파만 필요합니다. 이 접근 방식은 기울기 정보에 의존하고 역전파가 필요한 전략보다 더 간단하고 비용 효율적입니다. 가지치기 중에 특정 축 또는 축 조합에 대한 가지치기와 중요도 추정을 반복적으로 번갈아 가며 수행할 수 있습니다. 경험적 연구에 따르면 단일 중요도 추정을 사용하는 것만으로도 충분하며 반복 추정이 추가적인 이점을 가져오지 않는 것으로 나타났습니다.
아래 그림 2는 M층 Teacher 모델(원래 가지치기되지 않은 모델)에서 N 계층 학생 모델(가지치기 모델)을 증류하는 증류 과정을 보여줍니다. 스튜던트 모델은 스튜던트 블록 S와 티처 블록 T에 매핑된 임베딩 출력 손실, 로짓 손실, 변환기 인코더별 손실의 조합을 최소화하여 학습됩니다. 그림 2: 증류 훈련 손실.

가지치기 및 증류 모범 사례NVIDIA 압축 언어 모델을 기반으로 한 가지치기 및 지식 증류 기반 광범위한 절제 연구를 통해 학습 결과를 다음과 같은 구조화된 압축 모범 사례로 요약했습니다.
첫번째는 사이즈 조절입니다.LLM 세트를 훈련하려면 가장 큰 LLM을 먼저 훈련한 다음 반복적으로 가지치기 및 증류를 통해 더 작은 LLM을 얻습니다. 다단계 학습 전략을 사용하여 가장 큰 모델을 학습하는 경우 마지막 학습 단계에서 얻은 모델을 잘라내고 다시 학습하는 것이 가장 좋습니다.
- 대상 크기에 가장 가까운 사용 가능한 소스 모델을 정리합니다.
- 두 번째는 가지치기입니다.
- 깊이 가지치기보다 너비 가지치기를 우선시합니다. 이는 매개변수 크기가 15B 미만인 모델에 적합합니다.
- 세 번째는 재교육입니다.
- 재훈련에는 정규 훈련 대신 증류 손실만 사용하세요.
- 깊이가 크게 감소하지 않는 경우 로짓 전용 증류를 사용하세요.
- Llama-3.1-Minitron: 모범 사례를 행동으로 옮기기
- Meta가 최근 출시한 기능 강력한 Llama 3.1 오픈 소스 모델 제품군은 많은 벤치마크에서 폐쇄 소스 모델과 유사합니다. Llama 3.1의 매개변수 범위는 405B에서 70B 및 8B까지 다양합니다.
#🎜🎜 ##🎜 🎜# 선생님 미세 조정
깊이 전용 가지치기- 폭 전용 가지치기# 🎜🎜# 정확도 벤치마크
- 성능 벤치마크
- # 🎜🎜 ## 🎜🎜#teacherfine-tuning
모델 교육의 기반이 되는 원본 데이터 세트의 분포 편향을 수정하기 위해 NVIDIA는 먼저 정리되지 않은 8B 모델을 해당 모델에서 교육했습니다. 데이터 세트(94B 토큰) 미세 조정되었습니다. 실험에 따르면 분포 편향이 수정되지 않으면 교사 모델이 추출 시 데이터 세트에 대해 최적이 아닌 지침을 제공하는 것으로 나타났습니다.
- 깊이 전용 가지치기 8B에서 4B로 줄이기 위해 NVIDIA는 16개 레이어(50%)를 가지치기했습니다. 먼저 모델에서 각 레이어 또는 연속 하위 레이어 그룹을 제거하여 중요성을 평가하고 다운스트림 작업에서 LM 손실의 증가 또는 정확도의 감소를 관찰합니다.
아래 그림 5는 1, 2, 8 또는 16개 레이어를 제거한 후 검증 세트의 LM 손실 값을 보여줍니다. 예를 들어, 레이어 16에 대한 빨간색 플롯은 처음 16개 레이어가 제거될 경우 발생하는 LM 손실을 나타냅니다. 레이어 17은 첫 번째 레이어를 유지하고 레이어 2~17을 삭제해도 LM 손실이 발생함을 나타냅니다. Nvidia는 다음과 같이 관찰합니다. 시작 및 종료 레이어가 가장 중요합니다.
~ 그림 5: 중간 레이어의 깊이만 가지치기의 중요성.
그러나 NVIDIA는 이러한 LM 손실이 반드시 다운스트림 성능과 직접적인 관련이 있는 것은 아니라는 점을 관찰했습니다. 아래 그림 6은 각 가지치기 모델의 Winogrande 정확도를 보여주며, 이는 16~31번째 레이어를 삭제하는 것이 가장 좋음을 보여줍니다. 여기서 31번째 레이어는 끝에서 두 번째 레이어, 5번째는 가지치기 모델 -shot 정확도는 무작위 정확도(0.5)보다 훨씬 높습니다. Nvidia는 이 통찰력을 채택하고 레이어 16부터 31까지 제거했습니다.정확성.
너비 전용 가지치기

중요도 평가 후 NVIDIA는 MLP 중간 차원을 14336에서 9216으로 정리하기 위해 을 선택했습니다.
숨겨진 크기를 4096에서 3072로 정리합니다.
헤드 수와 레이어 수에 다시 주의를 기울이세요.
단일 표본 가지치기 후 너비 가지치기의 LM 손실이 깊이 가지치기의 LM 손실보다 높다는 점은 언급할 가치가 있습니다. 그러나 짧은 재교육 기간 이후 추세는 반전되었습니다.
정확도 벤치마크
NVIDIA는 다음 매개변수를 사용하여 모델을 증류했습니다
최대 학습률 = 1e-4
최소 학습률 = 1e-5
-
40단계 선형 워밍업
Cosine Decay Plan
글로벌 배치 크기 = 1152
아래 표 1은 원래 Llama 3.1 8B 모델과 유사한 Llama-3.1-Minitron 4B 모델 변형(너비 가지치기 및 깊이 가지치기), 기타 성능 비교를 보여줍니다. 여러 도메인에 걸친 벤치마크에 대한 크고 작은 모델의 비교. 전반적으로 NVIDIA는 모범 사례를 따르는 심층 가지치기와 비교하여 넓은 가지치기 전략의 효율성을 다시 한 번 확인했습니다. ㅋㅋㅋ 표 1: 정확도 비교 Minitron 4B 기본 모델과 유사한 규모의 기본 모델 비교.

그들은 Nemotron-4 340B 교육 데이터를 사용하고 IFEval, MT-Bench, ChatRAG-Bench 및 BFCL(Berkeley Function Calling Leaderboard)을 평가하여 지시 따르기, 롤플레잉, RAG 및 함수 호출 기능을 테스트했습니다. 마지막으로 Llama-3.1-Minitron 4B 모델이 신뢰할 수 있는 명령 모델이 될 수 있으며 다른 기본 SLM보다 성능이 우수하다는 것이 확인되었습니다. ㅋㅋㅋ ~ 표 2: 정렬된 Minitron 4B 기본 모델과 비슷한 크기의 정렬된 모델의 정확도 비교.
성능 벤치마크
NVIDIA는 LLM 추론 최적화를 위한 오픈 소스 툴킷인 NVIDIA TensorRT-LLM을 사용하여 Llama 3.1 8B 및 Llama-3.1-Minitron 4B 모델을 최적화했습니다.
Llama-3.1-Minitron-4B-Depth-Base 변형은 Llama 3.1 8B보다 평균 처리량이 약 2.7배로 가장 빠르며, Llama-3.1-Minitron-4B-Width-Base 변형은 평균 처리량을 갖습니다. Llama 3.1 8B의 처리량은 약 1.8배입니다. FP8에 배포하면 세 가지 모델 모두 BF16에 비해 성능이 약 1.3배 향상됩니다.
~ 80GB GPU.
결론

자세한 내용은 다음 리소스를 참조하세요. https://arxiv.org/abs/2407.14679
https://github.com/NVlabs/Minitron
https:// Huggingface.co/nvidia/Llama-3.1-Minitron-4B-Width-Base
- https://huggingface.co/nvidia/Llama-3.1-Minitron-4B-Depth-Base
- 참조 링크:
https://developer.nvidia.com/blog/how-to-prune-and-distill-llama-3-1-8b-to-an-nvidia-llama-3-1-minitron-4b -모델/
위 내용은 Nvidia는 가지치기 및 증류 작업을 수행합니다. 동일한 크기로 더 나은 성능을 달성하기 위해 Llama 3.1 8B의 매개변수를 절반으로 줄였습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

역시 Tusheng 영상이지만 PaintsUndo는 다른 경로를 택했습니다. ControlNet 작성자 LvminZhang이 다시 살기 시작했습니다! 이번에는 회화 분야를 목표로 삼고 있습니다. 새로운 프로젝트인 PaintsUndo는 출시된 지 얼마 되지 않아 1.4kstar(여전히 상승세)를 받았습니다. 프로젝트 주소: https://github.com/lllyasviel/Paints-UNDO 이 프로젝트를 통해 사용자는 정적 이미지를 입력하고 PaintsUndo는 자동으로 라인 초안부터 완성품 따라가기까지 전체 페인팅 과정의 비디오를 생성하도록 도와줍니다. . 그리는 과정에서 선의 변화가 놀랍습니다. 최종 영상 결과는 원본 이미지와 매우 유사합니다. 완성된 그림을 살펴보겠습니다.

오픈 LLM 커뮤니티는 백개의 꽃이 피어 경쟁하는 시대입니다. Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 등을 보실 수 있습니다. 훌륭한 연기자. 그러나 GPT-4-Turbo로 대표되는 독점 대형 모델과 비교하면 개방형 모델은 여전히 많은 분야에서 상당한 격차를 보이고 있습니다. 일반 모델 외에도 프로그래밍 및 수학을 위한 DeepSeek-Coder-V2, 시각 언어 작업을 위한 InternVL과 같이 핵심 영역을 전문으로 하는 일부 개방형 모델이 개발되었습니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 이 논문의 저자는 모두 일리노이 대학교 Urbana-Champaign(UIUC)의 Zhang Lingming 교사 팀 출신입니다. Steven Code Repair, 박사 4년차, 연구원

건배! 종이 토론이 말로만 진행된다면 어떤가요? 최근 스탠포드 대학교 학생들은 arXiv 논문에 대한 질문과 의견을 직접 게시할 수 있는 arXiv 논문에 대한 공개 토론 포럼인 alphaXiv를 만들었습니다. 웹사이트 링크: https://alphaxiv.org/ 실제로 이 웹사이트를 특별히 방문할 필요는 없습니다. URL에서 arXiv를 alphaXiv로 변경하면 alphaXiv 포럼에서 해당 논문을 바로 열 수 있습니다. 논문, 문장: 오른쪽 토론 영역에서 사용자는 저자에게 논문의 아이디어와 세부 사항에 대해 질문하는 질문을 게시할 수 있습니다. 예를 들어 다음과 같이 논문 내용에 대해 의견을 제시할 수도 있습니다.

최근 새천년 7대 과제 중 하나로 알려진 리만 가설이 새로운 돌파구를 마련했다. 리만 가설은 소수 분포의 정확한 특성과 관련된 수학에서 매우 중요한 미해결 문제입니다(소수는 1과 자기 자신으로만 나눌 수 있는 숫자이며 정수 이론에서 근본적인 역할을 합니다). 오늘날의 수학 문헌에는 리만 가설(또는 일반화된 형식)의 확립에 기초한 수학적 명제가 천 개가 넘습니다. 즉, 리만 가설과 그 일반화된 형식이 입증되면 천 개가 넘는 명제가 정리로 확립되어 수학 분야에 지대한 영향을 미칠 것이며, 리만 가설이 틀린 것으로 입증된다면, 이러한 제안의 일부도 그 효과를 잃을 것입니다. MIT 수학 교수 Larry Guth와 Oxford University의 새로운 돌파구

AI 모델이 내놓은 답변이 전혀 이해하기 어렵다면 감히 사용해 보시겠습니까? 기계 학습 시스템이 더 중요한 영역에서 사용됨에 따라 우리가 그 결과를 신뢰할 수 있는 이유와 신뢰할 수 없는 경우를 보여주는 것이 점점 더 중요해지고 있습니다. 복잡한 시스템의 출력에 대한 신뢰를 얻는 한 가지 가능한 방법은 시스템이 인간이나 다른 신뢰할 수 있는 시스템이 읽을 수 있는 출력 해석을 생성하도록 요구하는 것입니다. 즉, 가능한 오류가 발생할 수 있는 지점까지 완전히 이해할 수 있습니다. 설립하다. 예를 들어, 사법 시스템에 대한 신뢰를 구축하기 위해 우리는 법원이 자신의 결정을 설명하고 뒷받침하는 명확하고 읽기 쉬운 서면 의견을 제공하도록 요구합니다. 대규모 언어 모델의 경우 유사한 접근 방식을 채택할 수도 있습니다. 그러나 이 접근 방식을 사용할 때는 언어 모델이 다음을 생성하는지 확인하세요.

시계열 예측에 언어 모델을 실제로 사용할 수 있나요? Betteridge의 헤드라인 법칙(물음표로 끝나는 모든 뉴스 헤드라인은 "아니오"로 대답할 수 있음)에 따르면 대답은 아니오여야 합니다. 사실은 사실인 것 같습니다. 이렇게 강력한 LLM은 시계열 데이터를 잘 처리할 수 없습니다. 시계열, 즉 시계열은 이름에서 알 수 있듯이 시간 순서대로 배열된 데이터 포인트 시퀀스 집합을 나타냅니다. 시계열 분석은 질병 확산 예측, 소매 분석, 의료, 금융 등 다양한 분야에서 중요합니다. 시계열 분석 분야에서는 최근 많은 연구자들이 LLM(Large Language Model)을 사용하여 시계열의 이상 현상을 분류, 예측 및 탐지하는 방법을 연구하고 있습니다. 이 논문에서는 텍스트의 순차적 종속성을 잘 처리하는 언어 모델이 시계열로도 일반화될 수 있다고 가정합니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 서문 최근 몇 년 동안 다양한 분야에서 MLLM(Multimodal Large Language Model)의 적용이 눈에 띄는 성공을 거두었습니다. 그러나 많은 다운스트림 작업의 기본 모델로서 현재 MLLM은 잘 알려진 Transformer 네트워크로 구성됩니다.
