특정 계층의 구성 요소를 90% 이상 제거하지 않고 LLM을 유지하면서 성능을 향상시키기 위해 Transformer 순위를 줄입니다.

MIT와 Microsoft가 공동 연구를 진행한 결과 대형 언어 모델의 작업 성능을 향상하고 크기를 줄이는 데 추가 교육이 필요하지 않다는 사실을 확인했습니다.

대형 모델 시대에 Transformer는 고유한 기능으로 유명합니다. 전체 과학 연구 분야. LLM(Transformer-based Language Model)은 도입 이후 다양한 작업에서 뛰어난 성능을 보여왔습니다. Transformer의 기본 아키텍처는 자연어 모델링 및 추론을 위한 최첨단 기술이 되었으며 컴퓨터 비전 및 강화 학습과 같은 분야에서 강력한 전망을 보여주었습니다

그러나 현재 Transformer 아키텍처는 매우 크고 일반적으로 훈련과 추론을 위해 많은 양의 컴퓨팅 리소스가 필요합니다.

다음과 같이 다시 작성하세요. 더 많은 매개변수나 데이터로 훈련된 Transformer가 분명히 다른 모델보다 더 많은 능력을 발휘하기 때문에 이렇게 하는 것이 합리적입니다. 그러나 점점 더 많은 연구에 따르면 Transformer 기반 모델과 신경망은 학습된 가설을 유지하기 위해 모든 적응 매개변수를 유지할 필요가 없습니다.

일반적으로 모델을 훈련할 때 과잉 매개변수화가 도움이 되는 것 같지만 이러한 모델은 추론하기 전에 잘라냅니다. 연구에 따르면 신경망은 성능 저하 없이 90% 이상의 가중치를 제거할 수 있는 경우가 많습니다. 이 현상은 모델 추론에 도움이 되는 가지치기 전략에 대한 연구자들의 관심을 촉발시켰습니다.

MIT와 Microsoft의 연구원들은 "The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction"이라는 논문에서 다음과 같은 놀라운 발견을 제시했습니다. Transformer 모델의 특정 레이어를 잘라내면 특정 작업에 대한 모델 성능이 크게 향상될 수 있습니다.

• 논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/pdf/2312.13558.pdf

• 논문 홈페이지: https://pratyushashama.github.io/laser/

연구에서는 이러한 간단한 개입을 LASER(Layer Selective Rank Reduction)라고 부르는데, 이는 특이값 분해를 통해 Transformer 모델에서 특정 레이어의 학습된 가중치 행렬의 고차 성분을 선택적으로 줄여 LLM의 성능을 크게 향상시킵니다. 이 작업은 추가 매개변수나 데이터 없이 모델 학습이 완료된 후에 수행할 수 있습니다.

작업 중에 모델별 가중치 행렬 및 레이어에서 가중치 감소가 수행됩니다. 또한 이 연구에서는 많은 유사한 행렬이 가중치를 크게 줄일 수 있으며 일반적으로 구성 요소의 90% 이상이 제거될 때까지 성능 저하가 관찰되지 않는다는 사실을 발견했습니다.

또한 이 연구에서는 이러한 감소로 정확도가 크게 향상될 수 있다는 사실도 발견했습니다. 자연어에 국한되어 강화 학습에서도 성능 향상이 발견되었습니다.

또한 본 연구에서는 고차 구성 요소에 저장된 내용을 추론하여 삭제하여 성능을 향상시키려는 시도를 합니다. 연구에 따르면 LASER는 올바른 질문에 대답했지만 개입 전 원래 모델은 주로 높은 빈도의 단어(예: "the", "of" 등)로 응답했으며 이는 의미론적 유형도 동일하지 않았습니다. 즉, 이러한 구성 요소로 인해 모델은 개입 없이 관련 없는 고주파 단어를 생성하게 됩니다.

그러나 어느 정도 순위 감소를 수행하면 모델의 답변이 정답으로 변환될 수 있습니다.

이를 이해하기 위해 연구에서는 나머지 구성 요소가 개별적으로 무엇을 인코딩하는지 조사하고 고차 특이 벡터만 사용하여 가중치 행렬을 근사화했습니다. 이러한 구성요소는 정답과 동일한 의미 범주에서 서로 다른 응답이나 공통적으로 자주 사용되는 단어를 설명하는 것으로 나타났습니다.

이러한 결과는 시끄러운 고차 구성 요소가 저차 구성 요소와 결합될 때 충돌하는 응답이 평균 답변을 생성하며 이는 정확하지 않을 수 있음을 시사합니다. 그림 1은 Transformer 아키텍처와 LASER 이후의 절차를 시각적으로 보여줍니다. 여기서는 다층 퍼셉트론(MLP)의 특정 계층의 가중치 행렬이 해당 계층의 낮은 순위 근사값으로 대체됩니다.

레이저 개요

에서는 레이저 개입에 대한 자세한 소개를 제공합니다. 단일 단계 LASER 개입은 매개변수 τ, 레이어 수 ℓ 및 감소된 순위 ρ를 포함하는 삼중선(τ, ℓ, ρ)으로 정의됩니다. 이 값들은 함께 낮은 순위 근사치로 대체될 행렬과 근사 정도를 설명합니다. 연구자들은 매개변수 유형에 따라 간섭할 행렬 유형을 분류합니다

연구원들은 MLP 및 Attention 레이어의 행렬로 구성된 W = {W_q, W_k, W_v, W_o, U_in, U_out}의 행렬에 중점을 둡니다. 계층의 수는 연구자 개입의 계층을 나타냅니다(첫 번째 계층은 0부터 색인화됩니다). 예를 들어 Llama-2에는 32개의 레이어가 있으므로 ℓ ∈ {0, 1, 2,・・・31}입니다.

궁극적으로 ρ ∈ [0, 1)은 하위 순위 근사를 만들 때 최대 순위 중 어느 부분을 유지해야 하는지 설명합니다. 예를 들어 라고 가정하면 이 행렬의 최대 순위는 d입니다. 연구자들은 이를 ⌊ρ・d⌋- 근사로 대체했습니다.

아래 그림 1은 LASER의 예입니다. 이 그림에서 τ = U_in 및 ℓ = L은 L^번째 레이어의 Transformer 블록에서 MLP의 첫 번째 레이어의 가중치 행렬을 업데이트하는 것을 나타냅니다. 또 다른 매개변수는 순위-k 근사에서 k를 제어합니다.

LASER는 네트워크의 특정 정보 흐름을 제한하여 예기치 않게 상당한 성능 이점을 제공할 수 있습니다. 이러한 개입은 순서에 상관없이 일련의 개입을 적용하는 등 쉽게 결합할 수도 있습니다 .

LASER 방법은 그러한 개입에 대한 단순한 검색일 뿐이며, 최대한의 이익을 얻을 수 있도록 수정되었습니다. 그러나 이러한 개입을 결합하는 다른 방법이 많이 있으며 이는 향후 작업의 방향입니다.

본래의 의미를 그대로 유지하려면 내용을 중국어로 다시 작성해야 합니다. 원래 문장이 나올 필요는 없습니다

실험 부분에서 연구원은 PILE 데이터 세트에 대해 사전 훈련된 GPT-J 모델을 사용했습니다. 모델의 레이어 수는 27개이고 매개 변수는 60억 개입니다. 그런 다음 모델의 동작은 (주제, 관계 및 답변) 트리플 샘플이 포함된 CounterFact 데이터 세트에서 평가되며 각 질문에 대해 3개의 패러프레이징 프롬프트가 제공됩니다.

첫 번째는 CounterFact 데이터 세트에 대한 GPT-J 모델 분석입니다. 아래 그림 2는 Transformer 아키텍처의 각 행렬에 서로 다른 양의 순위 감소를 적용한 결과 데이터세트의 분류 손실에 미치는 영향을 보여줍니다. 각 Transformer 계층은 2계층 소형 MLP로 구성되며 입력 및 출력 행렬이 별도로 표시됩니다. 다양한 색상은 제거된 구성요소의 다양한 비율을 나타냅니다.

해석의 정확성과 견고성 향상과 관련하여 위 그림 2와 아래 표 1에서 볼 수 있듯이 연구원들은 단일 레이어에서 순위 감소를 수행할 때 GPT-J 모델이 다음 레이어에서 잘 수행된다는 사실을 발견했습니다. CounterFact 데이터 세트 정확도가 13.1%에서 24.0%로 증가했습니다. 이러한 개선은 순위 감소의 결과일 뿐이며 모델의 추가 교육이나 미세 조정이 포함되지 않는다는 점에 유의하는 것이 중요합니다.

순위 감소를 통해 데이터 세트에서 어떤 사실이 복원될지 연구자들의 관심사가 되었습니다. 연구진은 그림 3

에서 볼 수 있듯이 순위 감소를 통한 복구 사실이 데이터에 거의 나타나지 않는다는 사실을 발견했습니다. 고차 구성 요소는 무엇을 저장합니까? 연구자들은 최종 가중치 행렬을 근사화하기 위해 고차 성분을 사용합니다. LASER와는 달리 그림 5(a)와 같이 근사화를 위해 저차 성분을 사용하지 않습니다. 서로 다른 수의 고차 구성 요소를 사용하여 행렬을 근사할 때 그림 5(b)

와 같이 실제 답과 예측 답 사이의 평균 코사인 유사성을 측정했습니다. 마지막으로 연구자들은 연구 결과를 3가지 다른 일반화 가능성으로 평가했습니다. 다중 언어 이해 작업에 대한 LLM. 각 작업에 대해 정확도, 분류 정확도, 손실이라는 세 가지 측정항목을 생성하여 모델 성능을 평가했습니다. 위의 표 1에서 볼 수 있듯이 순위 감소가 크더라도 모델 정확도가 떨어지지는 않지만 모델 성능을 향상시킬 수 있습니다.

위 내용은 특정 계층의 구성 요소를 90% 이상 제거하지 않고 LLM을 유지하면서 성능을 향상시키기 위해 Transformer 순위를 줄입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!