Nature: 더 큰 AI 모델이 더 나은가요?

제너레이티브 AI 모델이 요즘 점점 커지고 있는데 클수록 좋다는 뜻인가요?

아니요. 이제 일부 과학자들은 더 효율적이고 에너지 효율적인 시스템을 제안하고 있습니다.

글 주소: https://www.nature.com/articles/d41586-023-00641-w

수학의 언어 모델을 알 수 없습니다

ChatGPT, 최근 인기 답하기 위해 추론이 필요한 수학 문제에서는 성과가 좋지 않은 경향이 있습니다.

예를 들어 "y = 4 x + 6에 평행한 직선이 (5, 10)을 지나갑니다. 이 선과 y축의 교차점의 y 좌표는 무엇입니까?"라는 질문에 대답하지 않는 경우가 많습니다. 바르게.

초기 추론 능력 테스트에서 ChatGPT는 중학교 수준의 MATH 데이터 세트 샘플에 답했을 때 26(%)점만 받았습니다.

이것은 물론 우리가 예상한 것입니다. ChatGPT는 입력 텍스트가 제공된 후 훈련 데이터 세트의 단어, 기호 및 문장의 통계 규칙을 기반으로 새 텍스트를 생성합니다.

물론 언어 모델을 단순히 학습하는 것만으로는 수학적 추론을 모방하는 방법을 언어 모델이 학습하는 것은 불가능합니다.

하지만 사실 이르면 2022년 6월, 구글이 만든 미네르바(Minerva)라는 대규모 언어 모델은 이미 이 '저주'를 깨뜨렸습니다.

Minerva는 MATH 데이터 세트(2)의 질문에서 50%를 기록했는데, 이 결과는 연구원들을 놀라게 했습니다.

미네르바는 "MATH" 데이터 세트에서 중학교 수학 문제를 정확하게 답했습니다.

Microsoft Research의 기계 학습 전문가인 Sébastien Bubeck은 업계 사람들이 충격을 받고 이에 대해 이야기했다고 말했습니다.

미네르바의 장점은 역시 수학 교재로 학습이 된다는 점입니다.

그러나 Google의 연구에 따르면 이 모델이 그토록 뛰어난 성능을 발휘하는 또 다른 큰 이유는 바로 규모입니다. ChatGPT 크기의 약 3배입니다.

Minerva의 결과는 일부 연구자들이 오랫동안 의심해 왔던 사실을 암시합니다. 대규모 LLM을 교육하고 더 많은 데이터를 제공하면 패턴 인식만으로 추론이 필요한 작업을 해결할 수 있다는 것입니다.

그렇다면 연구원들은 이 “클수록 좋다” 전략이 강력한 인공 지능으로 가는 길을 제공할 수 있다고 말합니다.

그러나 이 주장은 분명히 의심스럽습니다.

LLM은 여전히 ​​명백한 실수를 저지르고 있으며, 일부 과학자들은 더 큰 모델이 관련 교육 데이터 범위 내의 쿼리에 대한 답변만 더 잘할 뿐 완전히 새로운 질문에 답변할 수 있는 능력은 얻지 못한다고 믿습니다.

이 논쟁은 이제 인공 지능의 최전선에서 본격화되고 있습니다.

상업 회사에서는 더 큰 AI 모델을 사용하면 더 나은 결과를 얻을 수 있다는 사실을 확인하고 점점 더 큰 LLM을 출시하고 있습니다. 각각의 훈련 및 실행 비용은 수백만 달러입니다.

하지만 이 모델에는 큰 단점이 있습니다. 그 결과는 잠재적으로 신뢰할 수 없어 잘못된 정보의 확산을 촉진할 뿐만 아니라 너무 비싸고 많은 에너지를 소비합니다.

검토자들은 대규모 LLM이 추론 질문에 일관되게 답할 수 있는 기술을 결코 모방하거나 습득할 수 없다고 믿습니다.

대신 일부 과학자들은 더 작고 에너지 효율적인 AI를 통해 발전이 이루어질 것이라고 말합니다. 이러한 관점은 부분적으로 뇌가 학습하고 연결하는 방식에서 영감을 받았습니다.

큰 모델이 좋을까요?

ChatGPT 및 Minerva와 같은 대규모 언어 모델은 계층적으로 배열된 컴퓨팅 장치(인공 뉴런이라고도 함)의 거대한 네트워크입니다.

LLM의 크기는 매개변수 수에 따라 측정되며, 매개변수 수는 뉴런 간 연결 강도의 조정 가능한 값을 나타냅니다.

이러한 네트워크를 훈련하려면 알려진 문장의 마스크 부분을 예측하도록 요청하고 다음에 알고리즘이 더 잘 작동하도록 이러한 매개변수를 조정해야 합니다.

인간이 쓴 수십억 개의 문장에 대해 이 작업을 반복하면 신경망은 인간이 언어를 쓰는 방식을 모방하는 내부 표현을 학습합니다.

이 단계에서 LLM은 사전 훈련된 것으로 간주됩니다. 해당 매개변수는 텍스트의 모든 사실, 편견 및 오류를 포함하여 훈련 중에 본 문어의 통계 구조를 캡처합니다. 그런 다음 특수한 데이터를 기반으로 "미세 조정"할 수 있습니다.

예를 들어 Minerva를 만들기 위해 연구원들은 5,400억 개의 매개변수가 있고 7,800억 개의 토큰 데이터 세트에 대해 사전 훈련된 Google의 PaLM(Pathways Language Model)으로 시작했습니다.

토큰은 단어, 숫자 또는 일부 정보 단위일 수 있으며 PaLM의 경우 영어 및 다국어 웹 문서, 서적 및 코드에서 토큰이 수집됩니다. Minerva는 PaLM이 과학 논문 및 수학 웹 페이지에서 수백억 개의 토큰을 미세 조정한 결과입니다.

미네르바는 "520보다 작은 30의 배수 중 가장 큰 배수는 무엇인가요?"와 같은 질문에 답할 수 있습니다.

LLM은 단계적으로 생각하는 것 같지만 문제를 토큰 시퀀스로 변환하고 통계적으로 합리적인 다음 토큰을 생성하고 이를 원래 시퀀스에 추가하고 다른 토큰을 생성하는 등의 작업만 수행합니다. 이 과정을 추론이라고 합니다.

Google 연구원들은 80억, 620억, 5,400억 개의 매개변수를 갖춘 사전 훈련된 기본 PaLM 모델을 사용하여 Minerva를 세 가지 크기로 미세 조정했습니다. Minerva의 성능은 규모가 커질수록 향상됩니다.

전체 MATH 데이터 세트에서 가장 작은 모델의 정확도는 25%이고, 중간 모델은 43%에 도달하며, 가장 큰 모델은 50%를 돌파합니다.

가장 큰 모델은 또한 최소한의 미세 조정 데이터를 사용했습니다. 단 260억 개의 토큰으로 미세 조정된 반면, 가장 작은 모델은 1,640억 개의 토큰으로 미세 조정되었습니다.

하지만 가장 큰 모델은 미세 조정하는 데 한 달이 걸렸고, 특수 하드웨어의 컴퓨팅 성능은 미세 조정하는 데 2주밖에 걸리지 않은 가장 작은 모델의 8배였습니다.

이상적으로는 가장 큰 모델은 더 많은 토큰으로 미세 조정되어야 합니다. Google Research의 Minerva 팀원인 Ethan Dyer는 이것이 더 나은 성과로 이어질 수 있다고 말했습니다. 그러나 팀은 비용을 계산하는 것이 타당하다고 생각하지 않았습니다.

스케일링 효과

가장 큰 Minerva 모델이 가장 좋은 성능을 발휘하며, 이는 모델 크기가 증가함에 따라 성능이 어떻게 향상되는지를 결정하는 법칙인 스케일링 법칙에 대한 연구와 일치합니다.

2020년 연구에 따르면 더 많은 매개변수, 더 많은 훈련 데이터 또는 더 많은 "계산"(훈련 중에 수행되는 계산 작업 수)의 세 가지 중 하나가 제공될 때 모델의 성능이 더 좋아졌습니다.

성능은 거듭제곱 법칙에 따라 확장됩니다. 즉, 매개변수 수가 증가할수록 성능이 향상됩니다.

그러나 연구자들은 그 이유를 모릅니다. 캐나다 몬트리올 대학교 밀라-퀘벡 인공지능 연구소의 컴퓨터 과학자인 이리나 리쉬(Irina Rish)는 "이러한 법칙은 순전히 경험적입니다."라고 말합니다.

2020년 연구에 따르면 최상의 결과를 얻으려면 훈련 데이터가 두 배로 늘어남에 따라 모델 크기가 5배 증가해야 한다고 합니다. 작년 작업에서 약간 수정되었습니다.

올해 3월, DeepMind는 모델 크기와 훈련 데이터를 모두 확장하는 것이 가장 좋으며, 더 많은 데이터로 훈련된 작은 모델이 더 적은 데이터로 훈련된 큰 모델보다 더 나은 성능을 발휘한다고 믿었습니다.

예를 들어 DeepMind의 Chinchilla 모델은 700억 개의 매개변수를 가지며 1조 4천억 개의 토큰으로 훈련되는 반면, 2,800억 개의 매개변수 Gopher 모델은 3,000억 개의 토큰으로 훈련됩니다. 후속 평가에서는 Chinchilla가 Gopher를 능가했습니다.

2월 메타 과학자들은 이 개념을 기반으로 LLaMA라는 작은 매개변수 모델을 구축했으며, 이는 최대 1조 4천억 개의 토큰을 대상으로 훈련되었습니다.

연구원들은 LLaMA의 130억 매개변수 버전이 ChatGPT의 이전 GPT-3(1,750억 매개변수)보다 나은 반면, 650억 매개변수 버전은 Chinchilla 또는 PaLM보다 경쟁력이 있다고 말합니다.

지난 10월 Rish와 Montreal에 있는 McGill University의 Ethan Caballero와 다른 사람들은 규모와 성능 사이의 더 복잡한 관계를 발견했다고 보고했습니다. 어떤 경우에는 여러 거듭제곱 법칙이 모델 크기 다양성에 따라 성능이 확장되는 방식을 제어할 수 있습니다.

예를 들어, 일반 방정식을 맞추는 가상 시나리오에서는 먼저 성능이 점진적으로 향상되고 모델 크기에 따라 더 빠르게 향상되지만, 매개변수 수가 계속 증가함에 따라 성능이 약간 감소했다가 다시 증가합니다. 이 복잡한 관계의 특징은 각 모델의 세부 사항과 훈련 방법에 따라 달라집니다.

궁극적으로 연구원들은 특정 LLM이 언제 확장될지 미리 예측할 수 있기를 희망합니다.

별도의 이론적 발견은 2021년 Bubeck과 동료들이 제안한 기계 학습의 "강건성 법칙"인 더 큰 모델에 대한 추진력을 뒷받침합니다.

입력의 작은 변동에도 불구하고 답변이 일관되게 유지되면 모델은 견고합니다.

그리고 Bubeck과 동료들은 모델의 매개변수 수를 늘리면 견고성이 향상되어 일반화 능력이 향상된다는 것을 수학적으로 입증했습니다.

Bubeck은 정기적인 증명 스케일링이 필요하지만 일반화하기에는 충분하지 않다고 말했습니다. 그럼에도 불구하고 더 큰 모델로의 이동을 정당화하는 데 사용되었습니다. "저는 그것이 합리적인 일이라고 생각합니다."

Minerva는 Thought Chain Prompts라는 핵심 혁신도 활용합니다. 사용자는 문제와 해결 방법의 여러 예는 물론 답변으로 이어지는 추론을 포함하는 텍스트를 질문 앞에 붙입니다(이것은 고전적인 사고 방식입니다).

추론 중에 LLM은 이러한 맥락에서 단서를 얻어 추론처럼 보이는 단계별 답변을 제공합니다.

모델의 매개변수를 업데이트할 필요가 없으므로 미세 조정에 필요한 추가 컴퓨팅 성능이 필요하지 않습니다.

사고 사슬 프롬프트에 응답하는 능력은 1,000억 개가 넘는 매개변수가 있는 LLM에서만 나타납니다.

Google Research의 Blaise Agüera y Arcas는 이러한 발견이 경험적 확장 법칙을 기반으로 더 큰 모델을 개선하는 데 도움이 된다고 말했습니다. "더 큰 모델은 더 좋아질 것입니다."

합당한 우려

Google의 AI 연구원인 François Chollet은 LLM이 아무리 커지더라도 결코 충분하지 않을 것이라고 믿는 회의론자 중 한 명입니다. (또는 추론을 모방하여) 새로운 문제를 안정적으로 해결합니다.

그는 LLM이 훈련 데이터나 프롬프트에서 이전에 접했던 템플릿을 사용해서만 추론하는 것 같다고 말했습니다. "이전에 본 적이 없는 것을 즉시 이해할 수는 없습니다."

아마도 LLM이 할 수 있는 가장 좋은 일은 언어 자체의 통계 패턴을 통해 너무 많은 교육 데이터를 흡수하여 Answer를 보는 것과 매우 유사한 것을 사용할 수 있게 하는 것입니다. , 질문에 대답합니다.

그러나 Agüera y Arcas는 LLM이 특별히 훈련받지 않은 일부 능력을 습득하는 것 같다고 믿으며 이는 놀라운 일입니다.

특히 사람이 다른 사람의 정신 상태를 이론화하거나 측정하는 능력인 마음 이론을 가지고 있는지 여부를 보여주는 테스트입니다.

예를 들어, 앨리스는 안경을 서랍에 넣었고, 밥은 앨리스 몰래 안경을 쿠션 밑에 숨겼습니다. 앨리스는 안경을 찾으러 먼저 어디로 갈까요?

아이에게 이 질문을 하는 것은 앨리스가 자신의 신념을 갖고 있으며 아이가 알고 있는 것과 일치하지 않을 수 있다는 것을 아이가 이해하고 있는지 테스트하기 위한 것입니다.

Agüera y Arcas Google의 또 다른 LLM인 LaMDA를 테스트하면서 그는 LaMDA가 이러한 유형의 보다 확장된 대화에서 올바르게 응답한다는 사실을 발견했습니다.

그에게 이는 LLM이 다른 사람의 의도를 내부적으로 시뮬레이션하는 능력이 있음을 보여줍니다.

Agüera y Arcas는 다음과 같이 말했습니다. "순서를 예측하는 것 외에는 아무 것도 하지 않는 이 모델은 마음 이론을 포함하여 다양한 놀라운 능력을 개발했습니다."

그러나 그는 이러한 모델이 오류가 발생하기 쉽다는 점을 인정하며 확신하지 못합니다. 그것만으로도 바뀔 수 있습니다. 비록 필요해 보이지만 규모가 신뢰할 수 있는 추론에 충분합니까?

Google Research의 Blaise Agüera y Arcas는 LaMDA와의 대화에 대해 블로그에 글을 올렸습니다. 이야기 속의 두 대담자는 분명히 마음 이론의 패러디입니다

그러나 Chollet은 LLM이 정답을 얻었더라도 이해에 관한 것이 아니라고 말했습니다

". 조금만 파보면 내용이 비어 있다는 것을 즉시 알 수 있습니다. ChatGPT에는 말하는 내용에 대한 모델이 없습니다. 꼭 인형극을 보고 있고 인형이 살아 있다고 믿는 것과 같습니다."

지금까지 LLM은 여전히 ​​터무니없는 실수를 저지르고 있습니다. Melanie Mitchell은 인간이 결코 만들지 않을 것이라고 말합니다. 그녀는 산타페 연구소(Santa Fe Institute)에서 인공 지능 시스템의 개념적 추상화와 비유를 연구합니다.

이로 인해 LLM을 가드레일 없이 사회에 출시하는 것이 안전한지 우려가 됩니다.

Mitchell은 LLM이 완전히 새롭고 보이지 않는 문제를 해결할 수 있는지 여부에 대한 한 가지 문제는 이 능력을 완전히 테스트할 수 없다는 점이라고 덧붙였습니다.

"현재 벤치마크로는 충분하지 않습니다."라고 그녀는 말했습니다. "그들은 사물을 체계적으로 탐구하지 않습니다. 우리는 아직 그것을 어떻게 해야 할지 모릅니다."

Chollet은 자신이 디자인한 추상 추론 코퍼스(Abstract Reasoning Corpus)라는 추상 추론 테스트를 옹호합니다.

규모로 인한 문제

하지만 문제는 대규모 언어 모델을 훈련하는 데 드는 데이터 세트, 컴퓨팅 성능 및 비용으로 인해 개발이 제한된다는 것입니다. 현재는 매우 큰 컴퓨팅 리소스를 보유한 회사만이 이를 수행할 수 있습니다.

예를 들어 OpenAI는 GPT-3 교육에 400만 달러 이상을 지출할 것으로 예상되며, ChatGPT 운영을 유지하는 데 매달 수백만 달러가 소요될 수 있습니다.

그 결과, 이 분야에서 자신의 장점을 확대하기 위해 다양한 국가의 정부가 개입하기 시작했습니다.

작년 6월, 약 1,000명의 학술 자원봉사자로 구성된 국제 팀이 프랑스 정부, Hugging Face 및 기타 기관의 자금 지원을 받아 1,760억 개의 매개변수로 BLOOM 모델을 훈련하는 데 700만 달러 상당의 컴퓨팅 시간을 소비했습니다.

11월에는 미국 에너지부에서도 대규모 연구 모델 프로젝트에 자체 슈퍼컴퓨팅 라이선스를 부여했습니다. 연구팀은 친칠라와 유사한 700억 개의 매개변수 모델을 훈련할 계획이라고 한다.

그러나 누가 훈련을 하든 LLM의 전력 소비는 과소평가할 수 없습니다.

구글은 약 2개월에 걸쳐 PaLM 훈련에 약 3.4기가와트시가 소요되었다고 밝혔는데, 이는 미국 약 300가구가 1년 동안 소비하는 에너지에 해당합니다.

Google은 에너지 사용량의 89%가 청정 에너지라고 주장하지만, 전체 업계를 대상으로 한 조사에 따르면 대부분의 훈련은 주로 화석 연료로 구동되는 전력망을 사용하는 것으로 나타났습니다.

더 작고 똑똑해지나요?

이러한 관점에서 연구자들은 LLM의 에너지 소비를 긴급하게 줄여 신경 네트워크를 더 작고, 더 효율적이며, 더 스마트하게 만들어야 합니다.

LLM 교육에 드는 에너지 비용(비록 상당하지만 일회성이기도 함) 외에도 사용자 수가 늘어날수록 추론에 필요한 에너지가 급증합니다. 예를 들어 BLOOM 모델은 Google Cloud Platform에 배포된 18일 동안 총 230,768개의 쿼리에 응답했으며 평균 전력은 1,664와트였습니다.

비교해 보면, 우리 자신의 두뇌는 860억 개의 뉴런과 약 100조 개의 시냅스 연결을 포함하여 어떤 LLM보다 훨씬 더 복잡하고 크지만 전력은 약 20~50와트에 불과합니다.

그래서 일부 연구자들은 뇌를 모방하여 모델을 더 작고, 더 똑똑하고, 더 효율적으로 만드는 비전을 실현하기를 희망합니다.

기본적으로 LLM은 "피드포워드" 네트워크입니다. 즉, 정보는 입력에서 LLM 레이어를 거쳐 출력으로 한 방향으로 흐릅니다.

하지만 뇌는 그렇지 않습니다. 예를 들어, 인간의 시각 시스템에서는 수신된 정보를 뇌로 전달하는 것 외에도 뉴런에는 정보가 뉴런 사이의 반대 방향으로 전달되도록 하는 피드백 연결도 있습니다. 피드포워드 연결보다 피드백 연결이 10배 더 많을 수 있습니다.

인공 신경망에서 순환 신경망(RNN)에는 피드포워드 연결과 피드백 연결도 모두 포함됩니다. 피드포워드 네트워크만 있는 LLM과 달리 RNN은 시간이 지남에 따라 데이터의 패턴을 식별할 수 있습니다. 그러나 RNN은 훈련하기 어렵고 속도가 느려서 LLM 규모로 확장하기가 어렵습니다.

현재 소규모 데이터 세트를 사용한 일부 연구에 따르면 스파이크 뉴런이 있는 RNN은 표준 RNN보다 성능이 뛰어나고 이론적으로 계산 효율성이 3배 더 효율적이라는 사실이 밝혀졌습니다.

그러나 이러한 스파이크 네트워크가 소프트웨어에서 시뮬레이션되는 한 효율성 향상을 실제로 달성할 수는 없습니다(이를 시뮬레이션하는 하드웨어는 여전히 에너지를 소비하기 때문입니다).

에너지 효율적인 대형 모델

그동안 연구원들은 기존 LLM의 에너지 효율성을 높이기 위해 다양한 방법을 실험하고 있습니다.

2021년 12월 DeepMind는 검색 기반 언어 모델 프레임워크 Retro를 제안했습니다.

Retro는 학습 시 현재 지식을 활용할 뿐만 아니라 기억을 인출하는 뇌의 메커니즘을 주로 모방합니다. 그 프레임워크는 먼저 대규모 텍스트 데이터 세트(뇌의 기억 역할)를 준비하고 kNN 알고리즘을 사용하여 입력 문장의 가장 가까운 n개의 이웃 문장(인출 메모리)을 찾는 것입니다.

Transformer를 통해 입력 문장과 검색된 문장을 인코딩한 후 Cross-Attention을 수행하므로 모델은 입력 문장의 정보와 메모리 정보를 동시에 사용하여 다양한 NLP 작업을 완료할 수 있습니다.

과거에는 모델의 많은 매개변수가 주로 훈련 데이터의 정보를 보존하기 위한 것이었습니다. 이 검색 기반 프레임워크를 사용하면 모델의 매개변수 수에 더 많은 텍스트 정보가 포함될 수 있습니다. 특히 크므로 성능을 크게 잃지 않으면서 자연스럽게 모델 실행 속도가 빨라집니다.

이 방법은 모델 훈련 시 전기료도 절약할 수 있어요. 친환경 소녀들이 보고 좋아했어요!

실험 결과에 따르면 75억 개의 매개변수와 2조 개의 토큰 데이터베이스를 갖춘 대규모 언어 모델이 25배 더 많은 매개변수를 갖춘 모델보다 성능이 뛰어날 수 있습니다. 연구원들은 이것이 "우리가 더 강력한 언어 모델을 구축하려고 할 때 원시 매개변수 확장보다 더 효율적인 접근 방식"이라고 썼습니다.

같은 달에 Google 연구원들은 대규모로 에너지 효율성을 향상시킬 수 있는 또 다른 방법을 제안했습니다.

1조 2천억 개의 매개변수를 갖춘 이 희소 일반 언어 모델 GLaM에는 내부적으로 64개의 더 작은 신경망이 있습니다.

추론 과정에서 모델은 작업을 완료하기 위해 두 개의 네트워크만 사용합니다. 즉, 1조 개가 넘는 매개변수 중 약 8%만이 사용됩니다.

Google은 GLaM이 GPT-3 훈련에 필요한 것과 동일한 컴퓨팅 리소스를 사용하지만 훈련 소프트웨어 및 하드웨어의 개선으로 인해 에너지 소비는 GPT-3의 1/3에 불과하다고 밝혔습니다. 추론에 필요한 컴퓨팅 리소스는 GPT-3의 절반입니다. 또한 GLaM은 동일한 양의 데이터를 학습할 때 GPT-3보다 성능이 더 좋습니다.

그러나 추가 개선을 위해서는 이러한 에너지 효율적인 LLM도 더 많은 데이터와 계산을 사용하여 더 커질 것으로 보입니다.

참고자료:​

https://www.nature.com/articles/d41586-023-00641-w

위 내용은 Nature: 더 큰 AI 모델이 더 나은가요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!