Pytorch ' s Torchchat 튜토리얼 : Python이있는 로컬 설정

Torchchat : 지역 기계에 큰 언어 모델을 추론하는

LLM (Lange Language Model)은 기술을 변형시키고 있지만 하드웨어 제한으로 인해 개인 장치에이를 배포하는 것은 어려운 일이되었습니다. Pytorch의 새로운 Torchchat 프레임 워크는이를 해결하여 랩톱에서 모바일 장치에 이르기까지 다양한 하드웨어 플랫폼에서 효율적인 LLM 실행을 가능하게합니다. 이 기사는 Python과 함께 로컬로 Torchchat을 설정하고 사용하는 실용적인 가이드를 제공합니다. Facebook의 AI Research Lab의 (FAIR) 오픈 소스 머신 러닝 프레임 워크 인 Pytorch는 Torchchat을 뒷받침합니다. 다목적 성은 컴퓨터 비전 및 자연어 처리로 확장됩니다.

Torchchat의 주요 기능 : Torchchat은 4 가지 핵심 기능을 제공합니다

Python/Pytorch LLM 실행 : Python 및 Pytorch가 설치된 기계에서 LLM을 실행하여 터미널 또는 REST API 서버를 통해 직접 상호 작용합니다. 이 기사는이 설정에 중점을 둡니다.

자체 포함 된 모델 배포 : AOT 인덕터 (미리 인덕터)를 활용하여 Torchchat은 파이썬 및 Pytorch와 무관하게 자체 포함 된 실행 파이브 (동적 라이브러리)를 만듭니다. 이를 통해 재 컴파일없이 제작 환경에서 안정적인 모델 런타임을 보장합니다. AOT 인덕터는 효율적인 이진 형식을 통해 배포를 최적화하여 Torchscript의 오버 헤드를 능가합니다. 모바일 장치 실행 : executorch 활용, Torchchat은 모바일 및 임베디드 장치에 대한 모델을 최적화하여 실행을위한 PTE 아티팩트를 생성합니다. 모델 평가 : 연구 및 벤치마킹에 결정적인 프레임 워크를 사용하여 LLM 성능 평가.

왜 llms를 로컬로 실행합니까? 로컬 LLM 실행은 몇 가지 장점을 제공합니다

강화 된 개인 정보 보호 : 의료, 금융 및 법률 부문의 민감한 데이터에 이상적으로 데이터가 조직 인프라 내에 남아 있는지 확인합니다. 실시간 성능 :

대화식 챗봇 및 실시간 컨텐츠 생성과 같은 빠른 응답이 필요한 응용 프로그램의 대기 시간을 최소화합니다. 오프라인 기능 :

인터넷 연결이 제한적이거나없는 영역에서 LLM 사용을 활성화합니다. 비용 최적화 : 고량용 응용 프로그램에 대한 클라우드 API 사용보다 비용 효율적입니다.

Python이있는 로컬 설정 : 단계별 가이드

1. 저장소를 복제하십시오 : git을 사용하여 Torchchat 저장소를 복제하십시오 또는 GitHub 인터페이스에서 직접 다운로드하십시오
2. 설치 :
Python 3.10이 설치되었다고 가정하면 가상 환경을 만듭니다.
3. 제공된 스크립트를 사용하여 종속성을 설치하십시오 설치 확인 :

   git clone git@github.com:pytorch/torchchat.git

4. TorchChat 사용 :
   리스팅 지원 된 모델 :

   • python -m venv .venv
     source .venv/bin/activate

     모델 다운로드 : 껴안는 얼굴 CLI 설치 (), 포옹 얼굴 계정을 만들고, 액세스 토큰을 생성하고, 로그인 (). 모델을 다운로드하십시오 (예 : ) :

     

   모델 실행 :
   • 텍스트 생성 :

     또는 채팅 모드를 사용하십시오 : pip install huggingface_hub 액세스 요청 : 액세스가 필요한 모델의 경우 (예 : ) 오류 메시지의 지침을 따르십시오. huggingface-cli login stories15M

     ./install_requirements.sh

   • 고급 사용 : 미세 조정 성능 정밀 제어 () : 속도/정확도 트레이드 오프에 대한 데이터 유형 조정 (예 :, ). Just-In-Time (Jit) 컴파일 () :

     python torchchat.py --help

     추론 속도가 향상되지만 (시작 시간이 증가). Quantization () :

     JSON 구성 파일을 사용하여 모델 크기를 줄이고 속도를 향상시킵니다. 장치 사양 () :

     장치를 지정합니다 (예 : )

     python torchchat.py list

   결론 Torchchat은 로컬 LLM 실행을 단순화하여 Advanced AI에보다 액세스 할 수 있습니다. 이 안내서는 그 기능을 탐색하기위한 토대를 제공합니다. Torchchat의 특징에 대한 추가 조사가 권장됩니다.

위 내용은 Pytorch ' s Torchchat 튜토리얼 : Python이있는 로컬 설정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!