목차
연구 개요
기술 주변기기 일체 포함 Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

Apr 10, 2024 pm 03:13 PM
데이터 모델

7B 규모 언어 모델 LLM이 저장할 수 있는 인간 지식은 얼마나 됩니까? 이 값을 어떻게 정량화하나요? 훈련 시간과 모델 아키텍처의 차이가 이 값에 어떤 영향을 미치나요? 부동 소수점 압축 양자화, 혼합 전문가 모델 MoE 및 데이터 품질의 차이(백과사전 지식 대 인터넷 쓰레기)가 LLM의 지식 용량에 어떤 영향을 미칠까요?

Zhu Zeyuan(Meta AI)과 Li Yuanzhi(MBZUAI)의 최신 연구 "Language Model Physics Part 3.3: Scaling Laws of Knowledge"는 대규모 실험(50,000개 작업, 총 4,200,000 GPU 시간)을 사용하여 12가지 법칙을 요약했습니다. , 이는 다양한 파일에 대한 LLM의 지식 용량을 통해 보다 정확한 측정 방법을 제공합니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

저자는 먼저 벤치마크 데이터 세트(벤치마크)에서 오픈소스 모델의 성능으로 LLM의 확장 법칙을 측정하는 것은 비현실적이라는 점을 지적했습니다. 예를 들어 LLaMA-70B는 지식 데이터 세트에서 LLaMA-7B보다 30% 더 나은 성능을 발휘한다고 해서 모델을 10배 확장하면 용량이 30%만 증가한다는 의미는 아닙니다. 모델을 훈련하기 위해 네트워크 데이터를 사용한다면, 그 안에 포함된 전체 지식의 양을 추정하는 데 어려움을 겪게 됩니다.

또 다른 예로 Mistral과 Llama 모델의 품질을 비교할 때 차이는 서로 다른 모델 아키텍처로 인해 발생합니까, 아니면 훈련 데이터를 다르게 준비하여 발생합니까?

위 고려사항을 바탕으로 저자는 "언어 모델 물리학" 시리즈 논문의 핵심 아이디어를 채택합니다. 데이터에 있는 지식의 유형입니다. 동시에 저자는 다양한 크기와 아키텍처의 LLM을 사용하여 합성 데이터를 훈련하고 수학적 정의를 제공하여 훈련된 모델이 데이터에서 얼마나 많은 지식을 학습했는지 정확하게 계산합니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

  • 논문 주소: https://arxiv.org/pdf/2404.05405.pdf
  • 논문 제목: 언어 모델 물리학: 3.3부, 지식 용량 확장 법칙

이번 연구에서는 이 방향이 타당해 보인다는 분들도 계셨어요. 우리는 매우 과학적인 방법으로 스케일링 법칙을 분석할 수 있습니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

어떤 사람들은 이 연구가 스케일링 법칙을 다른 수준으로 끌어올린다고 믿습니다. 실무자들이 반드시 읽어야 할 필독서입니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

연구 개요

저자는 bioS, bioR, bioD의 세 가지 유형의 합성 데이터를 연구했습니다. bioS는 영어 템플릿을 사용하여 작성된 전기이고, bioR은 LlaMA2 모델을 사용하여 작성된 전기(총 22GB)이며, bioD는 지식의 길이 및 어휘 등 세부사항을 추가로 제어할 수 있는 가상 지식 데이터입니다. 자세한 내용을 기다리십시오). 저자는GPT2, LlaMA 및 Mistral을 기반으로 한 언어 모델 아키텍처에 중점을 두고 있으며, 그 중 GPT2는 업데이트된 RoPE(Rotary Position Embedding) 기술을 사용합니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

왼쪽 그림은 훈련 시간이 충분할 때의 스케일링 법칙을 나타내고, 오른쪽 그림은 훈련 시간이 부족할 때의 스케일링 법칙을 나타냅니다.

위 그림 1은 저자가 제안한 처음 5가지 법칙을 간략하게 설명합니다. 왼쪽/오른쪽은 각각 "훈련"에 해당합니다. "충분한 시간"과 "훈련 시간 부족"이라는 두 가지 상황은 각각 상식(예: 중국의 수도는 베이징)과 덜 상식(예: 칭화대학교 물리학과)에 해당합니다. 1926년에 설립되었다).

훈련 시간이 충분하면 저자는 GPT2 또는 LlaMA/Mistral 등 어떤 모델 아키텍처를 사용하든 모델의 저장 효율성이 2bit/param에 도달할 수 있음을 발견했습니다. 즉, 평균적으로 각 모델 매개변수 2비트의 정보를 저장할 수 있습니다. 이는 모델 깊이와는 관련이 없으며 모델 크기에만 관련됩니다. 즉, 7B 모델은 적절하게 훈련되면 14B 비트의 지식을 저장할 수 있습니다. 이는 Wikipedia 및 모든 영어 교과서에 있는 인간의 지식보다 더 많은 것입니다!

더 놀라운 점은 전통적인 이론에서는 변환기 모델의 지식이 주로 MLP 계층에 저장된다는 것인데, 저자의 연구에서는 모든 MLP 계층을 제거하더라도 모델이 여전히 가능하다는 사실을 반박했습니다. 매개변수의 저장 효율성이 2bit/에 도달했습니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

그림 2: 훈련 시간이 부족한 경우의 확장 법칙

그러나 훈련 시간이 부족한 경우를 보면 모델 간의 차이가 분명해집니다. 위의 그림 2에서 볼 수 있듯이 이 경우 GPT2 모델은 LlaMA/Mistral보다 30% 이상 더 많은 지식을 저장할 수 있습니다. 이는 몇 년 전의 모델이 어떤 측면에서 오늘날의 모델을 능가한다는 것을 의미합니다. 왜 이런 일이 발생합니까? 저자는 LlaMA 모델에 대한 아키텍처 조정을 수행하여 모델과 GPT2 간의 각 차이를 더하거나 빼었으며 마침내 GatedMLP가 30% 손실을 초래한다는 사실을 발견했습니다.

강조하자면, GatedMLP는 모델의 "최종" 저장 속도에 변화를 일으키지 않습니다. 그림 1에서는 훈련이 충분하면 달라지지 않을 것임을 알 수 있기 때문입니다. 그러나 GatedMLP는 불안정한 훈련으로 이어지므로 동일한 지식에 대해 더 긴 훈련 시간이 필요합니다. 즉, 훈련 세트에 거의 나타나지 않는 지식의 경우 모델의 저장 효율성이 감소합니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

그림 3: 양자화와 MoE가 모델 스케일링 법칙에 미치는 영향

저자의 법칙 8과 9는 각각 양자화와 MoE가 모델 스케일링 법칙에 미치는 영향을 연구하고 결론은 그림에 나와 있습니다. 위의 3. 한 가지 결과는 훈련된 모델을 float32/16에서 int8로 압축해도 2bit/param 저장 제한에 도달한 모델의 경우에도 지식 저장에 영향을 미치지 않는다는 것입니다.

이는 LLM이 "정보 이론 한계"의 1/4에 도달할 수 있음을 의미합니다. 왜냐하면 int8 매개변수는 8비트에 불과하지만 평균적으로 각 매개변수는 2비트의 지식을 저장할 수 있기 때문입니다. 저자는 이것이 보편적 법칙이며 지식 표현의 형태와는 아무런 관련이 없음을 지적한다.

가장 놀라운 결과는 저자의 법칙 10-12에서 나왔습니다(그림 4 참조). (사전)훈련 데이터가 1/8이 고품질 지식 기반(예: Baidu Encyclopedia)에서 나오고 7/8이 낮은 품질 데이터(예: 일반적인 크롤링 또는 포럼 대화 또는 완전히 무작위로 사용되는 쓰레기)에서 나오는 경우 데이터).

그렇다면 낮은 품질의 데이터가 LLM의 고품질 지식 흡수에 영향을 미칠까요? 결과는 놀랍습니다. 고품질 데이터에 대한 훈련 시간이 일관되게 유지되더라도, 저품질 데이터의 "존재 자체"로 인해 모델의 고품질 지식 저장 공간이 20배나 줄어들 수 있습니다! 고품질 데이터에 대한 훈련 시간이 3배 연장되더라도 지식 보유량은 3배로 줄어듭니다. 이는 모래에 금을 던지는 것과 같으며, 고품질 데이터가 낭비되고 있습니다.

고칠 수 있는 방법이 있나요? 저자는 모든 (사전)훈련 데이터에 자신의 웹사이트 도메인 이름 토큰을 추가하는 간단하지만 매우 효과적인 전략을 제안했습니다. 예를 들어 모든 Wikipedia 데이터를 wikipedia.org에 추가합니다. 이 모델은 "골드" 지식이 있는 웹사이트를 식별하기 위해 사전 지식이 필요하지 않지만, 사전 훈련 과정에서 자동으로 고품질 지식이 있는 웹사이트를 발견하고 자동으로 이러한 고품질 지식을 위한 저장 공간을 확보할 수 있습니다. 데이터.

저자는 검증을 위해 간단한 실험을 제안했습니다. 고품질 데이터에 특수 토큰이 추가되면(어떤 특수 토큰이든 가능하며 모델은 어떤 토큰인지 미리 알 필요가 없습니다), 모델의 지식은 스토리지가 즉시 10배 증가할 수 있다는 사실, 놀랍지 않나요? 따라서 사전 학습 데이터에 도메인 이름 토큰을 추가하는 것은 매우 중요한 데이터 준비 작업입니다.

Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?

그림 4: 사전 훈련 데이터에 "불균일한 지식 품질"이 있을 때 확장 법칙, 모델 결함 및 이를 복구하는 방법

결론

저자는 합성 데이터를 통해 계산적 모델이 훈련됩니다. 이 과정에서 얻은 총 지식의 방법은 "모델 아키텍처, 훈련 방법 및 데이터 준비 평가"를 위한 체계적이고 정확한 채점 시스템을 제공할 수 있습니다. 이는 기존 벤치마크 비교와 완전히 다르며 더 안정적입니다. 그들은 이것이 미래의 LLM 설계자가 더 많은 정보를 바탕으로 결정을 내리는 데 도움이 되기를 바랍니다.

위 내용은 Llama 아키텍처는 GPT2보다 열등합니까? 마법의 토큰이 기억력을 10배 향상시킨다?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정! 오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정! Apr 03, 2024 pm 12:04 PM

0. 이 글은 어떤 내용을 담고 있나요? 우리는 다재다능하고 빠른 최첨단 생성 단안 깊이 추정 모델인 DepthFM을 제안합니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다. 이 작품을 함께 읽어보아요~ 1. 논문 정보 제목: DepthFM: FastMoncularDepthEstimationwithFlowMatching 저자: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

초지능의 생명력이 깨어난다! 하지만 자동 업데이트 AI가 등장하면서 엄마들은 더 이상 데이터 병목 현상을 걱정할 필요가 없습니다. 초지능의 생명력이 깨어난다! 하지만 자동 업데이트 AI가 등장하면서 엄마들은 더 이상 데이터 병목 현상을 걱정할 필요가 없습니다. Apr 29, 2024 pm 06:55 PM

세상은 미친 듯이 큰 모델을 만들고 있습니다. 인터넷의 데이터만으로는 충분하지 않습니다. 훈련 모델은 '헝거게임'처럼 생겼고, 전 세계 AI 연구자들은 이러한 데이터를 탐식하는 사람들에게 어떻게 먹이를 줄지 고민하고 있습니다. 이 문제는 다중 모드 작업에서 특히 두드러집니다. 아무것도 할 수 없던 시기에, 중국 인민대학교 학과의 스타트업 팀은 자체 새로운 모델을 사용하여 중국 최초로 '모델 생성 데이터 피드 자체'를 현실화했습니다. 또한 이해 측면과 생성 측면의 두 가지 접근 방식으로 양측 모두 고품질의 다중 모드 새로운 데이터를 생성하고 모델 자체에 데이터 피드백을 제공할 수 있습니다. 모델이란 무엇입니까? Awaker 1.0은 중관촌 포럼에 최근 등장한 대형 멀티모달 모델입니다. 팀은 누구입니까? 소폰 엔진. 런민대학교 힐하우스 인공지능대학원 박사과정 학생인 Gao Yizhao가 설립했습니다.

iPhone의 느린 셀룰러 데이터 인터넷 속도: 수정 사항 iPhone의 느린 셀룰러 데이터 인터넷 속도: 수정 사항 May 03, 2024 pm 09:01 PM

지연이 발생하고 iPhone의 모바일 데이터 연결 속도가 느립니까? 일반적으로 휴대폰의 셀룰러 인터넷 강도는 지역, 셀룰러 네트워크 유형, 로밍 유형 등과 같은 여러 요소에 따라 달라집니다. 더 빠르고 안정적인 셀룰러 인터넷 연결을 얻기 위해 할 수 있는 일이 몇 가지 있습니다. 수정 1 – iPhone 강제 다시 시작 때로는 장치를 강제로 다시 시작하면 셀룰러 연결을 포함한 많은 항목이 재설정됩니다. 1단계 – 볼륨 높이기 키를 한 번 눌렀다가 놓습니다. 그런 다음 볼륨 작게 키를 눌렀다가 다시 놓습니다. 2단계 - 프로세스의 다음 부분은 오른쪽에 있는 버튼을 누르는 것입니다. iPhone이 다시 시작되도록 하세요. 셀룰러 데이터를 활성화하고 네트워크 속도를 확인하세요. 다시 확인하세요 수정 2 – 데이터 모드 변경 5G는 더 나은 네트워크 속도를 제공하지만 신호가 약할 때 더 잘 작동합니다

미 공군이 주목할만한 최초의 AI 전투기를 선보였습니다! 전 과정에 걸쳐 장관이 직접 간섭 없이 테스트를 진행했고, 10만 줄의 코드를 21차례 테스트했다. 미 공군이 주목할만한 최초의 AI 전투기를 선보였습니다! 전 과정에 걸쳐 장관이 직접 간섭 없이 테스트를 진행했고, 10만 줄의 코드를 21차례 테스트했다. May 07, 2024 pm 05:00 PM

최근 군계는 미군 전투기가 이제 AI를 활용해 완전 자동 공중전을 완수할 수 있다는 소식에 충격을 받았다. 네, 얼마 전 미군의 AI 전투기가 최초로 공개되면서 그 미스터리가 드러났습니다. 이 전투기의 정식 명칭은 VISTA(Variable Stability Flight Simulator Test Aircraft)로 미 공군 장관이 직접 조종해 일대일 공중전을 모의 실험한 것이다. 5월 2일, 미 공군 장관 프랭크 켄달(Frank Kendall)이 X-62AVISTA를 타고 에드워드 공군 기지에서 이륙했습니다. 1시간의 비행 동안 모든 비행 작업은 AI에 의해 자동으로 완료되었습니다. Kendall은 "지난 수십 년 동안 우리는 자율 공대공 전투의 무한한 잠재력에 대해 생각해 왔지만 항상 도달할 수 없는 것처럼 보였습니다."라고 말했습니다. 그러나 지금은,

See all articles