이것이 LLM이 언어를 분해하는 방식입니다

큰 언어 모델의 비밀을 공개 : 토큰 화에 대한 깊은 다이빙

2020 년 Openai의 GPT-3을 둘러싼 버즈를 기억하십니까? GPT-3의 놀라운 텍스트 생성 기능은 그 라인에서 첫 번째 라인이 아니지만 명성을 얻었습니다. 그 이후로 수많은 대형 언어 모델 (LLM)이 등장했습니다. 그러나 LLM은 Chatgpt Drecipher 언어를 어떻게 좋아합니까? 답은 토큰 화라는 과정에 있습니다.

이 기사는 Andrej Karpathy의 통찰력있는 YouTube 시리즈 인 "Chatgpt와 같은 LLM에 대한 Deep Dive"에서 영감을 얻습니다. (적극 권장됩니다!)

토큰 화를 탐색하기 전에 LLM의 내부 작업을 간단히 살펴 보겠습니다. 신경망과 LLM에 이미 익숙하다면 앞서 건너 뛰십시오.

대형 언어 모델 내부

llms는 변압기 신경망 - 복잡한 수학 공식을 사용하십시오. 입력은 임베딩 층을 통해 처리 된 토큰 (단어, 문자 또는 문자)의 시퀀스로, 수치 표현으로 변환합니다. 이러한 입력은 네트워크의 매개 변수 (가중치)와 함께 거대한 수학적 방정식으로 공급됩니다.

현대 신경망은 처음에 무작위로 설정된 수십억 개의 매개 변수를 자랑합니다. 네트워크는 처음에 무작위 예측을합니다. 교육은 반복적으로 이러한 가중치를 조정하여 네트워크의 출력을 교육 데이터의 패턴과 정렬합니다. 따라서 훈련에는 교육 데이터의 통계적 특성을 가장 잘 반영하는 최적의 무게 세트를 찾는 것이 포함됩니다.

2017 년 논문 "주의가 필요한 모든 것이 필요한 모든 것"에 소개 된 변압기 아키텍처는 시퀀스 처리를 위해 특별히 설계된 신경망입니다. 신경 기계 번역에 처음 사용 된이 제품은 이제 LLM의 초석입니다.

생산 수준 변압기 네트워크에 대한 시각적 이해를 위해 https://www.php.cn/link/f4a75336b061f291b6c11f5e4d6ebf7d. 이 사이트는 GPT 아키텍처 및 추론 프로세스의 대화식 3D 시각화를 제공합니다.

여기에서 Fineweb의 생성에 대한 자세한 내용 ).

img src = "https://img.php.cn/upload/article/000/000/000/174166081948412.jpg"alt = "이것은 llms가 언어를 분해하는 방법"/> Fineweb의 샘플 (100 예제) (100 예제).

Our goal is to train a neural network to replicate this text. 신경망은 유한 세트에서 1 차원의 기호 순서를 필요로합니다. 이것은 텍스트를 그러한 순서로 변환해야합니다.

우리는 1 차원 텍스트 시퀀스로 시작합니다. UTF-8 인코딩은 이것을 원시 비트 시퀀스로 변환합니다.

이 변환은 토큰 화입니다. 바이트 페어 인코딩 (BPE)을 사용하여 최첨단 모델이 더 나아갑니다.

BPE는 빈번한 연속 바이트 쌍을 식별하고 새로운 기호로 대체합니다. 예를 들어, "101 114"가 자주 나타나면 새 기호로 대체됩니다. 이 과정은 반복되어 시퀀스를 단축하고 어휘를 확장합니다. GPT-4는 BPE를 사용하여 약 100,000 개의 토큰의 어휘를 초래합니다.

whitiktokins who who whoitizer whoitizer whoitizer . 다양한 모델에 대한 토큰 화. 처음 4 개의 문장에서 GPT-4의 CL100K_BASE 인코더를 사용하여 다음과 같은 수율 :

 <code> 11787, 499, 21815, 369, 90250, 763, 14689, 30, 7694, 1555, 279, 21542, 3770, 323, 499, 1253, 1120, 1120, 1120, 1120, 21542, 3770, 701, 4832, 2457, 13, 9359, 1124, 323, 6642, 264, 3449, 709, 3010, 18396, 13, 1226, 617, 9214, 315, 1023, 3697, 430, 1120, 649, 10379, 83, 3868, 311, 3449, 1859, 1859, 1859, 1859, 1859, 1820 1093, 499, 0 </code> 

https://www.php.cn/link/f4a75336b061f291b6c11f5e4d6ebf7d

llm 환각 (link_to_hallucination_article)

huggingfacefw/fineweb · 껴안는 얼굴의 데이터 세트 (link_to_huggingface_fineweb)

Fineweb : 척도에서 가장 좋은 텍스트 데이터를 위해 웹을 정리하기 -… (https://www.php.cn/link/271DF68653F0B3C70D446BDCBC6A2715)

열린 데이터 커먼즈 속성 라이센스 (ODC-BY) v1.0-공개 데이터 공개 : 열린 데이터를위한 법적 도구 (link_to_odc_by)

껴안는 얼굴 NLP 코스 (link_to_huggingface_bpe)

tiktokenizer (https://www.php.cn/link/3b8d8348318987a2f1a39d690463a8f)

링크를 대체하십시오. 요청 된대로 원래 형식 및 이미지 배치를 유지하려고 시도했습니다.

위 내용은 이것이 LLM이 언어를 분해하는 방식입니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!