nodejs 프로젝트에서 로컬 LLM(Ollama)을 실행합니다.

우리 모두는 AI를 사랑합니다. 최근 몇 년간 인공지능 붐이 세상을 변화시키고 새로운 시대로 나아가고 있습니다. 모든 사용 문제에는 Gemini에게 요리 레시피를 묻고, Chatgpt에게 과제를 묻고, Claude에게 프로그래밍을 묻고, 등 AI의 사용 사례가 있습니다. 프론트엔드 디자인을 위한 V0 요즘 개발자와 학생들은 AI에 너무 많이 의존하고 있어 거의 매일 새로운 스타트업이 등장하고 있습니다. AI.

저와 같은 야심 찬 개발자는 어떻게 이런 것을 만들 수 있는지에 대한 질문을 하게 됩니다. 답은 위 사진에만 있습니다. 이러한 모델에 대한 API 호출입니다. 하지만 가격이 저렴하지도 않고, 저 같은 실업자 학생은 구독권을 구매할 여력이 없습니다. 이는 AI를 로컬에서 실행한 다음 API 호출을 위해 포트에서 제공한다는 아이디어로 이어집니다. 이 기사에서는 Ollama를 설정하고 nodejs 코드를 통해 LLM에 액세스하는 방법에 대한 단계별 가이드를 제공합니다.

올라마 설치

이 단계는 Windows 사용자를 위한 단계입니다. 다른 운영 체제를 사용하는 경우 이 가이드를 따르세요.

• Ollama로 가서 설치 프로그램을 다운로드하세요.

• 완료되면 설정을 실행하고 애플리케이션을 설치하세요.

• 그러면 컴퓨터에 클라이언트가 설치되고 이제 ollama 공식 웹사이트의 라이브러리 섹션으로 이동하여 사용하려는 모델을 선택할 수 있습니다.

• 여기서는 내 컴퓨터에 codellama:7b를 사용하겠습니다.
• CMD 또는 Powershell을 열고 ollama run 명령을 실행합니다. 모델이 이미 존재하지 않는 경우 컴퓨터에 모델을 다운로드한 다음 실행합니다.

항만에서 LLM 서비스 제공

• 이제 시스템에 Ollama가 있고 필수 LLM도 있으므로 다음 단계는 노드 앱이 액세스할 수 있도록 머신의 포트에서 Ollama를 제공하는 것입니다.
• 계속하기 전에 이 명령을 사용하여 Ollama를 백그라운드에서 닫고 ollama에 할당된 기본 포트가 비어 있는지 확인하세요. ollama 서브, 오류가 발생하면 포트가 사용 중임을 의미합니다.
• 계속하기 전에 해당 포트를 지워야 합니다. Ollama의 기본 포트는 11434입니다.
• 해당 포트에서 어떤 프로세스가 실행되고 있는지 확인하려면 다음 명령을 사용하세요. netstat -ano | findstr :11434
• 위 결과에서 PID를 기록해 두고 이 명령을 사용하여 포트를 지웁니다. taskkill /PID /에프
• 완료되면 새 cmd 터미널을 열고 다음 명령을 실행하세요. 올라마 서브
• 이제 API 호출을 통해 LLM에 액세스할 수 있음을 의미하는 이와 같은 내용이 표시됩니다.

요청 응답 처리를 위해 ollama npm 패키지 사용

• 다음 명령에 따라 노드 프로젝트를 시작하세요.

npm init -y
npm i typescript ollama
npx tsc --init

• 이렇게 하면 작업을 시작할 수 있는 저장소가 생성됩니다. 먼저 tsconfig.json 파일로 이동하여 주석 처리를 해제하고 해당 값을 설정하세요.

"rootDir": "./src",
"outDir": "./dist",

• src 폴더를 만들고 폴더 안에 index.js 파일을 만듭니다.

import ollama from 'ollama';

async function main() {
    const response = await ollama.chat({
        model: 'codellama:7b',
        messages: [
            {
                role: 'user', 
                content: 'What color is the sky?'
            }
        ],
    })
    console.log(response.message.content)

}

main()

• 이제 코드를 실행하기 전에 package.json에서 스크립트를 편집하세요.

"scripts": {
    "dev": "tsc -b && node dist/index.js"
  },

• 이것은 실행을 위해 ts 코드를 js 코드로 빌드합니다.
• 명령어를 사용하여 애플리케이션을 실행합니다. npm은 터미널 내부에서 dev를 실행합니다.

• 여기 있습니다. 마침내 nodejs를 사용하여 로컬 LLM에 액세스할 수 있게 되었습니다.
• 여기에서 노드 패키지 ollama에 대해 자세히 알아볼 수 있습니다.

읽어주셔서 감사합니다. 이 기사가 어떤 경우든 도움이 되기를 바랍니다. 도움이 되셨다면 언제든지 제 소셜 미디어에 접속해 주세요!

링크드인 | 깃허브

위 내용은 nodejs 프로젝트에서 로컬 LLM(Ollama)을 실행합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!