목차
Background
Challenge
Break
기술 주변기기 일체 포함 정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

Apr 13, 2023 pm 07:01 PM
모델

최근 대형 모델의 희소 훈련에 관한 Alibaba Cloud Machine Learning PAI의 논문 "대규모 언어 모델 미세 조정을 위한 매개변수 효율적인 희소성"이 최고의 인공 지능 컨퍼런스인 IJCAI 2022에서 채택되었습니다.
본 논문에서는 가중치의 중요도 지수를 분석하여 낮은 순위와 구조라는 두 가지 특성을 갖는 매개변수 효율적인 희소 학습 알고리즘 PST를 제안합니다. 이 결론을 바탕으로 PST 알고리즘은 가중치의 중요도를 계산하기 위해 두 개의 작은 행렬 세트를 도입합니다. 원래는 가중치만큼 큰 행렬이 필요했지만 중요도 지수를 저장하고 업데이트해야 하는 매개변수의 양이 늘어났습니다. 희소 훈련을 위해 업데이트되는 횟수가 크게 줄어듭니다. 일반적으로 사용되는 희소 훈련 알고리즘과 비교할 때 PST 알고리즘은 매개변수의 1.5%만 업데이트하면서 유사한 희소 모델 정확도를 달성할 수 있습니다.

Background

최근 몇 년간 대기업과 연구기관에서 다양한 대형 모델을 제안해왔는데, 이러한 대형 모델의 매개변수는 수백억에서 수조에 이르며, 심지어는 이미 수백조에 달하는 매우 큰 모델이 등장했습니다. 모델. 이러한 모델은 훈련하고 배포하는 데 많은 양의 하드웨어 리소스가 필요하므로 구현하기가 어렵습니다. 따라서 대규모 모델 훈련 및 배포에 필요한 자원을 어떻게 줄일 것인가가 시급한 문제가 되었습니다.
모델 압축 기술은 모델 배포에 필요한 리소스를 효과적으로 줄일 수 있습니다. 일부 가중치를 제거하면 모델의 계산을 조밀한 계산에서 희소 계산으로 변환하여 메모리 사용량을 줄이고 계산 속도를 높일 수 있습니다. 동시에 희소성은 다른 모델 압축 방법(구조적 가지치기/양자화)과 비교하여 모델 정확도를 보장하면서 더 높은 압축률을 달성할 수 있으며 매개변수 수가 많은 대형 모델에 더 적합합니다.

Challenge

기존 희소 학습 방법은 두 가지 범주로 나눌 수 있습니다. 하나는 가중치 기반 데이터 없는 희소 알고리즘이고, 다른 하나는 데이터 기반 데이터 기반 희소 알고리즘입니다. 가중치 기반 희소 알고리즘은 가중치의 L1 노름을 계산하여 가중치의 중요도를 평가하고 이를 기반으로 해당 희소 결과를 생성하는 크기 가지치기[1]와 같은 아래 그림에 나와 있습니다. 가중치 기반 희소 알고리즘은 계산이 효율적이고 훈련 데이터의 참여가 필요하지 않지만, 계산된 중요도 지수가 충분히 정확하지 않아 최종 희소 모델의 정확도에 영향을 미칩니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

가중치와 해당 기울기의 곱을 가중치의 중요도를 측정하는 지표로 계산하는 움직임 가지치기[2]와 같은 데이터 기반 희소 알고리즘은 아래 그림과 같습니다. 이 유형의 방법은 특정 데이터 세트에서 가중치의 역할을 고려하므로 가중치의 중요성을 더 정확하게 평가할 수 있습니다. 그러나 이러한 방식은 각 가중치의 중요도를 계산하고 저장해야 하기 때문에 중요도 지수(그림의 S)를 저장하기 위한 추가 공간이 필요한 경우가 많다. 동시에 가중치 기반 희소 방법에 비해 계산 프로세스가 더 복잡한 경우가 많습니다. 이러한 단점은 모델의 크기가 커질수록 더욱 분명해집니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

요약하자면, 이전 희소 알고리즘은 효율적이지만 충분히 정확하지 않거나(가중치 기반 알고리즘), 정확하지만 충분히 효율적이지 않습니다(데이터 기반 알고리즘). 따라서 우리는 대형 모델에 대해 정확하고 효율적으로 희소 학습을 수행할 수 있는 효율적인 희소 알고리즘을 제안하고자 합니다.

Break

데이터 기반 희소 알고리즘의 문제점은 일반적으로 가중치의 중요성을 학습하기 위해 가중치와 동일한 크기의 추가 매개변수를 도입한다는 점이며, 이로 인해 도입되는 추가 매개변수를 줄이는 방법에 대해 고민하게 됩니다. 가중치 성별의 중요성을 계산합니다. 우선, 가중치 중요도 계산에 기존 정보를 최대한 활용하기 위해 가중치 중요도 지수를 다음 공식으로 설계합니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

즉, 데이터 프리와 데이터-를 결합합니다. 최종 모델 가중치의 중요성을 공동으로 결정하기 위한 구동 지표. 기존의 데이터 프리 중요도 지수는 추가 매개변수 저장이 필요하지 않고 계산에도 효율적인 것으로 알려져 있으므로, 향후 데이터 기반 중요도 지수에서 도입되는 추가 훈련 매개변수를 어떻게 압축할지가 우리가 해결해야 할 문제이다.

기존 희소 알고리즘을 기반으로 데이터 기반 중요도 지수는

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

과 같이 설계할 수 있습니다.

따라서 이 공식으로 계산된 중요도 지표의 중복성을 분석하기 시작합니다. 우선, 이전 연구를 바탕으로 가중치와 해당 그래디언트 모두 명백한 낮은 순위 속성을 갖는 것으로 알려져 있으므로[3, 4], 중요도 지수도 낮은 순위 속성을 갖는다고 추론할 수 있으므로 두 가지를 소개할 수 있습니다. 낮은 순위 속성 가중치만큼 큰 원래 중요도 표시 행렬을 나타내는 작은 행렬입니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

두 번째로, 모델 희소성 이후의 결과를 분석한 결과 명백한 구조적 특징이 있음을 발견했습니다. 위 그림과 같이 각 그림의 오른쪽은 최종 희소 가중치의 시각화 결과이고, 왼쪽은 각 행/열의 해당 희소성 비율을 계산한 히스토그램입니다. 왼쪽 그림에서는 30% 행의 가중치가 대부분 제거된 것을 볼 수 있고, 반대로 오른쪽 그림에서는 30% 열의 가중치가 대부분 제거된 것을 볼 수 있습니다. 이러한 현상을 바탕으로 가중치의 각 행/열의 중요성을 평가하기 위해 두 개의 작은 구조화된 행렬을 도입합니다.

위의 분석을 바탕으로 데이터 기반 중요도 지수는 순위와 구조가 낮다는 것을 알았으므로 이를 다음과 같은 표현으로 변환할 수 있습니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

여기서 A와 B는 낮은 순위를 나타내고, R과 C는 구조적 특성을 나타냅니다. 이러한 분석을 통해 원래 가중치만큼 컸던 중요도 지수 행렬을 4개의 작은 행렬로 분해하여 희소 훈련에 수반되는 훈련 매개변수를 크게 줄였습니다. 동시에 훈련 매개변수를 더욱 줄이기 위해 이전 방법을 기반으로 가중치 업데이트를 두 개의 작은 행렬 U와 V로 분해하여 최종 중요도 지수 공식은 다음과 같은 형식이 됩니다. 알고리즘 프레임워크 다이어그램은 다음과 같습니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.최종 PST 알고리즘 실험 결과는 NLU(BERT, RoBERTa) 및 NLG(GPT-2) 작업에 대한 크기 가지치기 및 이동 가지치기와 비교합니다. 90%의 희소 비율에서 PST는 대부분의 데이터 세트에서 이전 알고리즘에 필적하는 모델 정확도를 달성할 수 있지만 훈련 매개변수는 1.5%만 필요합니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

PST 기술은 Alibaba Cloud Machine Learning PAI의 모델 압축 라이브러리와 Alicemind 플랫폼의 대규모 모델 스파스 훈련 기능에 통합되었습니다. PST는 수백억 개의 대형 모델 PLUG에서 모델 정확도를 저하시키지 않고 2.5배 가속할 수 있으며 원래 희소 학습에 비해 메모리 사용량을 10배 줄일 수 있습니다. 현재 Alibaba Cloud Machine Learning PAI는 풀 링크 AI 개발 서비스를 제공하고 기업을 위한 독립적이고 제어 가능한 AI 솔루션을 실현하며 기계 학습 엔지니어링의 효율성을 종합적으로 향상시키는 등 다양한 산업에서 널리 사용되고 있습니다.

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.논문 이름: Parameter-Efficient Sparsity for Large Language Models Fine-Tuning

정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.

논문 저자: Yuchao Li , Fuli Luo , Chuanqi Tan , Mengdi Wang , Songfang Huang , Shen Li , Junjie Bai

Paper PDF 링크:​https://arxiv.org/pdf/2205.11005.pdf​

위 내용은 정확도가 높고 리소스 소모가 적은 대규모 모델에 대한 희소 학습 방법이 발견되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Apr 01, 2024 pm 07:46 PM

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

시계열 예측 + NLP 대규모 모델에 대한 새로운 작업: 시계열 예측을 위한 암시적 프롬프트 자동 생성 시계열 예측 + NLP 대규모 모델에 대한 새로운 작업: 시계열 예측을 위한 암시적 프롬프트 자동 생성 Mar 18, 2024 am 09:20 AM

오늘 저는 시계열 예측 성능을 향상시키기 위해 잠재 공간에서 시계열 데이터를 대규모 자연어 처리(NLP) 모델과 정렬하는 방법을 제안하는 코네티컷 대학의 최근 연구 작업을 공유하고 싶습니다. 이 방법의 핵심은 잠재 공간 힌트(프롬프트)를 사용하여 시계열 예측의 정확성을 높이는 것입니다. 논문 제목: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting 다운로드 주소: https://arxiv.org/pdf/2403.05798v1.pdf 1. 큰 문제 배경 모델

공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! 공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! May 06, 2024 pm 04:13 PM

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! Mar 21, 2024 pm 05:21 PM

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.

See all articles