> 백엔드 개발 > 파이썬 튜토리얼 > 사전 훈련된 가중치를 사용하여 로컬에서 LLM을 실행하는 옵션은 무엇입니까?

사전 훈련된 가중치를 사용하여 로컬에서 LLM을 실행하는 옵션은 무엇입니까?

WBOY
풀어 주다: 2024-02-22 12:34:09
앞으로
630명이 탐색했습니다.

사전 훈련된 가중치를 사용하여 로컬에서 LLM을 실행하는 옵션은 무엇입니까?

질문 내용

사용 가능한 체중 저장소가 있지만 인터넷에 연결되지 않은 클러스터가 있습니다. 이에 대해 LLM 추론을 실행해야 합니다.

지금까지 찾은 유일한 옵션은 transformerslangchain 模块的组合,但我不想调整模型的超参数。我遇到了 ollama 소프트웨어를 사용하는 것인데 Python 라이브러리 외에는 클러스터에 아무것도 설치할 수 없습니다. 그래서 자연스럽게 LLM 추론을 실행하기 위한 옵션이 무엇인지 궁금했습니다. 아직 몇 가지 질문이 있습니다.

  1. Linux 소프트웨어를 설치하지 않고 ollama-python 패키지만 설치할 수 있나요? 아니면 추론을 실행하려면 둘 다 필요합니까?
  2. 이 클러스터에 설치하는 경우 ollama,如何为模型提供预训练权重?如果有帮助,它们存储在(有时多个).bin 파일에

정답


실제로 ollama。相反,您可以直接本地运行 llm,例如 mistral모델

을 설치할 필요는 없습니다. 으아악

또는 falcon

을 위해 으아악

내 노트북에는 16g 메모리 nvidia 4090이 설치되어 있으며 위의 2개 모델을 로컬에서 실행할 수 있습니다.

위 내용은 사전 훈련된 가중치를 사용하여 로컬에서 LLM을 실행하는 옵션은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:stackoverflow.com
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿