LLMS 작동 방식 : 사후 훈련, 신경망, 환각 및 추론에 대한 사전 훈련

대형 언어 모델 (LLMS)의 마법 공개 : 두 부분으로 구성된 탐사 큰 언어 모델 (LLM)은 종종 마법처럼 보이지만 내면의 작업은 놀랍게도 체계적입니다. 이 두 부분으로 구성된 시리즈는 LLM을 시연하여 오늘날 우리가 사용하는 AI 시스템에 대한 구조, 훈련 및 개선을 설명합니다. Andrej Karpathy의 통찰력 (그리고 긴!) YouTube 비디오에서 영감을 얻은이 응축 버전은 핵심 개념을보다 액세스 가능한 형식으로 제공합니다. Karpathy의 비디오가 적극 권장되는 반면 (단 10 일 만에 80 만 조회수!),이 10 분짜리 읽기는 주요 테이크 아웃을 첫 1.5 시간에서 증류합니다. 1 부 : 원시 데이터에서 기본 모델로

LLM 개발에는 두 가지 중요한 단계가 포함됩니다 : 사전 훈련 및 훈련 후 1. 사전 훈련 : 언어 교육

텍스트를 생성하기 전에 LLM은 언어 구조를 배워야합니다. 이 계산 집중 사전 훈련 프로세스에는 몇 가지 단계가 포함됩니다

데이터 수집 및 전처리 : 대규모 다양한 데이터 세트가 수집되며, 종종 Common Crawl (250 억 웹 페이지)과 같은 소스를 포함합니다. 그러나 원시 데이터는 스팸, 복제 및 품질이 낮은 컨텐츠를 제거하기 위해 청소가 필요합니다. FineWeb과 같은 서비스는 포옹 페이스에서 사용할 수있는 전처리 버전을 제공합니다.

토큰 화 :

텍스트는 신경망 처리를 위해 숫자 토큰 (단어, 서브 워드 또는 문자)으로 변환됩니다. 예를 들어 GPT-4는 100,277 개의 고유 한 토큰을 사용합니다. Tiktokenizer와 같은 도구는이 프로세스를 시각화합니다

신경망 교육 :

신경망은 컨텍스트를 기반으로 한 순서로 다음 토큰을 예측하는 법을 배웁니다. 여기에는 수십억의 반복이 포함되며, 역전을 통해 매개 변수 (가중치)를 조정하여 예측 정확도를 향상시킵니다. 네트워크의 아키텍처는 출력을 생성하기 위해 입력 토큰이 처리되는 방법을 지시합니다.

• 결과 기본 모델 는 단어 관계와 통계 패턴을 이해하지만 실제 작업 최적화가 부족합니다. 확률에 따라 예측하지만 지시 기능을 제한하는 기능을 기반으로 예측하는 고급 자동 완성과 같은 기능을합니다. 프롬프트 내에서 예제를 사용하는 컨텍스트 학습은 사용될 수 있지만 추가 교육이 필요합니다.

2. 훈련 후 : 실질적인 사용을위한 정제

기본 모델은 더 작고 전문화 된 데이터 세트를 사용하여 사후 훈련을 통해 개선됩니다. 이것은 명백한 프로그래밍이 아니라 구조화 된 예를 통해 암시 적 지시가 아닙니다.

훈련 후 방법은 다음과 같습니다

대화 미세 조정 :

는 모델에 지시를 따르고 대화에 참여하며 안전 지침을 준수하며 유해한 요청을 거부하도록 가르치고 (예 : instructGpt).

도메인 별 미세 조정 :
• 도메인 별 미세 조정 : 특정 필드 (의학, 법률, 프로그래밍)에 대한 모델을 조정합니다. 사용자 입력 및 AI 응답을 묘사하기 위해 특수 토큰이 소개됩니다. 추론 : 텍스트 생성
모든 단계에서 수행되는 추론은 모델 학습을 평가합니다. 이 모델은이 분포에서 다음 토큰 및 샘플에 대한 확률을 지정하여 교육 데이터에서 명시 적으로는 아니지만 통계적으로 일치합니다. 이 확률 론적 프로세스는 동일한 입력에서 다양한 출력을 허용합니다.
• 환각 : 허위 정보 해결 LLM이 허위 정보를 생성하는 환각은 확률 론적 특성에서 발생합니다. 그들은 사실을 "알지 못하고"단어 시퀀스를 예측합니다. 완화 전략에는 다음이 포함됩니다
"나는 모른다"훈련 :

자기 인터 로그 화와 자동화 된 질문 생성을 통해 지식 격차를 인식하도록 모델을 명시 적으로 훈련시킨다. 웹 검색 통합 :

외부 검색 도구에 액세스하여 지식 확장, 모델의 컨텍스트 창에 결과를 통합합니다.

결론 (1 부) 이 부분은 LLM 개발의 기본 측면을 탐구했습니다. Part 2는 강화 학습을 탐구하고 최첨단 모델을 조사합니다. 귀하의 질문과 제안을 환영합니다!

위 내용은 LLMS 작동 방식 : 사후 훈련, 신경망, 환각 및 추론에 대한 사전 훈련의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!