1 분 안에 LLMS를 로컬로 운영하는 방법은 무엇입니까?

GPT 및 LLAMA와 같은 대형 언어 모델 (LLM)은 스마트 챗봇 작성에서 복잡한 코드 스 니펫 생성에 이르기까지 모든 것이 가능합니다. 포옹 페이스와 같은 클라우드 플랫폼은 이러한 모델의 사용을 단순화하지만 경우에 따라 LLM을 자신의 컴퓨터에서 로컬로 운영하는 것이 더 현명한 선택입니다. 왜? 개인 정보가 더 큰 개인 정보를 제공하고 특정 요구에 맞게 사용자 정의 할 수 있으며 비용을 크게 줄일 수 있습니다. LLM을 로컬로 운영하면 전체 제어 기능을 제공하므로 자신의 용어로 전원을 활용할 수 있습니다.

몇 가지 간단한 단계로 Ollama와 포옹 얼굴로 시스템에서 LLM을 실행하는 방법을 살펴 보겠습니다!

다음 비디오는 프로세스를 단계별로 설명합니다.

1 분 안에 로컬로 LLM을 운영하는 방법 [초보자 친화적]

Ollama 사용 및 포옹 얼굴 비디오 링크

- Dylan (@Dylan Ebert ) 2025 년 1 월 6 일

로컬로 LLM을 실행하는 단계

1 단계 : Ollama를 다운로드하십시오

먼저 브라우저에서 "Ollama"를 검색하고 시스템에 다운로드하여 설치하십시오.

2 단계 : 최고의 오픈 소스 LLM을 찾으십시오

다음으로 "Hugging Face LLM Ranking"을 검색하여 최상의 오픈 소스 언어 모델 목록을 찾으십시오.

3 단계 : 장치를 기반으로 모델을 필터링하십시오

목록이 표시되면 필터를 적용하여 설정에 가장 적합한 모델을 찾으십시오. 예를 들어:

• 가정 소비자 등급 장치를 선택하십시오.
• 비공식적이거나 검증되지 않은 모델을 피하려면 공식 제공 업체 만 선택하십시오.
• 노트북에 저가형 GPU가 제공되는 경우 Edge 장치 용으로 설계된 모델을 선택하십시오.

Qwen/Qwen2.5-35b 와 같은 최상위 모델을 클릭하십시오. 화면의 오른쪽 상단에서 "이 모델 사용"을 클릭하십시오. 그러나 여기서는 Ollama를 옵션으로 찾을 수 없습니다.

Ollama는 GGUF라는 특수 형식을 사용하기 때문입니다. 이는 모델의 작고 빠르며 정량적 인 버전입니다.

(참고 : 양자화는 품질을 약간 줄이지 만 현지 사용에 더 적합합니다.)

GGUF 형식으로 모델을 얻으십시오.

• 순위의 "정량화 된"섹션으로 이동하십시오 - 여기에 약 80 개의 모델이 있습니다. 이 모델을 대부분의 다운로드로 정렬하십시오.

Bartowski 와 같은 이름에 "gguf"가있는 모델을 찾으십시오. 이것은 좋은 선택입니다.

• 이 모델을 선택하고 "Ollama와 함께이 모델 사용"을 클릭하십시오.
• 정량적 설정의 경우 GPU RAM보다 1-2GB 작은 파일 크기를 선택하거나 Q5_K_M과 같은 권장 옵션을 선택하십시오.

5 단계 : 모델을 다운로드하고 시작합니다

선택한 모델에 제공된 명령을 복사하여 터미널에 붙여 넣으십시오. "Enter"키를 누르고 다운로드가 완료 될 때까지 기다립니다.

다운로드가 완료되면 다른 LLM과 마찬가지로 모델과 채팅을 시작할 수 있습니다. 단순하고 재미!

그게 다야! 이제 장치에서 강력한 LLM을 로컬로 실행하고 있습니다. 이 단계가 아래의 의견 섹션에서 귀하를 위해 작동하는지 알려주세요.

위 내용은 1 분 안에 LLMS를 로컬로 운영하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!