백엔드 개발 Golang Ollama Cloud 구축 - 로컬 추론을 클라우드로 확장

Ollama Cloud 구축 - 로컬 추론을 클라우드로 확장

Jul 18, 2024 am 12:38 AM

Ollama는 주로 로컬 추론 작업을 위해 설계된 llama.cpp의 래퍼입니다. 최첨단 성능이나 기능을 찾는 경우 일반적으로 첫 번째 선택은 아니지만, 특히 외부 종속성이 문제가 되는 환경에서 유용하게 사용할 수 있습니다.

로컬 AI 개발

로컬 AI 개발을 위해 Ollama를 사용할 때 설정은 간단하면서도 효과적입니다. 개발자는 일반적으로 Ollama를 활용하여 로컬 컴퓨터에서 직접 추론 작업을 실행합니다. 다음은 Ollama를 사용한 일반적인 로컬 개발 설정을 시각적으로 나타낸 것입니다.

Typical Local Development with Ollama

이 구성을 사용하면 개발자는 원격 서버 통신의 복잡성 없이 빠르게 테스트하고 반복할 수 있습니다. 빠른 처리가 중요한 초기 프로토타입 제작 및 개발 단계에 이상적입니다.

로컬에서 클라우드로

로컬 설정에서 확장 가능한 클라우드 환경으로 전환하려면 단순한 1:1 설정(한 사용자 요청에서 하나의 추론 호스트로)에서 보다 복잡한 다대다(여러 사용자 요청에서 여러 추론 호스트로) 구성으로 발전해야 합니다. . 수요가 증가함에 따라 효율성과 대응성을 유지하려면 이러한 변화가 필요합니다.

로컬 개발에서 프로덕션으로 이동할 때 이러한 확장이 어떻게 나타나는지는 다음과 같습니다.

View of Typical m:n Scaling

이 전환 중에 간단한 접근 방식을 채택하면 특히 세션이 다양한 상태에서 일관성을 유지해야 하기 때문에 애플리케이션의 복잡성이 크게 증가할 수 있습니다. 요청이 사용 가능한 최상의 추론 호스트로 최적으로 라우팅되지 않으면 지연과 비효율성이 발생할 수 있습니다.

게다가 분산 애플리케이션의 복잡한 특성으로 인해 로컬에서 테스트하기가 어려워 개발 프로세스 속도가 느려지고 프로덕션 환경에서 오류가 발생할 위험이 높아질 수 있습니다.

서버리스

서버리스 컴퓨팅은 서버 관리 및 인프라 세부 정보를 추상화하므로 개발자는 코드 및 비즈니스 로직에만 집중할 수 있습니다. 요청 처리 및 일관성 유지 관리를 애플리케이션에서 분리함으로써 서버리스 아키텍처는 확장을 단순화합니다.

이 접근 방식을 사용하면 개발자에게 인프라 복잡성으로 인한 부담을 주지 않으면서 애플리케이션이 가치 제공에 계속 집중하여 여러 가지 일반적인 확장 문제를 해결할 수 있습니다.

웹어셈블리

WebAssembly(Wasm)는 애플리케이션을 독립형 모듈로 컴파일할 수 있도록 하여 종속성 관리 문제를 해결합니다. 이를 통해 로컬과 클라우드 모두에서 앱을 더 쉽게 조정하고 테스트할 수 있으므로 다양한 환경에서 일관성이 보장됩니다.

타우

Ollama Cloud 구축 - 로컬 추론을 클라우드로 확장

Tau는 유지 관리가 적고 확장성이 뛰어난 클라우드 컴퓨팅 플랫폼을 구축하기 위한 프레임워크입니다. 단순성과 확장성이 뛰어납니다. Tau는 배포를 단순화하고 개발을 위한 로컬 클라우드 실행을 지원하므로 클라우드 인프라와 여기에서 실행되는 애플리케이션 모두에 대한 엔드투엔드(E2E) 테스트가 가능합니다.

Taubyte에서 '로컬 코딩은 글로벌 생산과 동일'이라고 부르는 이 접근 방식은 로컬에서 작동하는 것이 전 세계적으로 작동하도록 보장하여 개발 및 배포 프로세스를 크게 단순화합니다.

Orbit 플러그인 시스템을 사용하여 Ollama를 Tau에 ​​통합

Orbit로 알려진 Tau의 플러그인 시스템은 서비스를 WebAssembly 호스트 모듈로 래핑하여 서비스를 관리 가능한 구성 요소로 전환하는 것을 크게 단순화합니다. 이러한 접근 방식을 통해 Tau는 조정 업무를 맡아 배포 및 관리 프로세스를 간소화할 수 있습니다.

Ollama에서 함수 내보내기

Tau 생태계 내에서 Ollama 기능에 액세스할 수 있도록 하기 위해 Orbit 시스템을 활용하여 Ollama의 기능을 호출 가능한 엔드포인트로 내보냅니다. Go에서 엔드포인트를 내보내는 방법은 다음과 같습니다.

func (s *ollama) W_pull(ctx context.Context, module satellite.Module, modelNamePtr uint32, modelNameSize uint32, pullIdptr uint32) Error {
    model, err := module.ReadString(modelNamePtr, modelNameSize)
    if err != nil {
        return ErrorReadMemory
    }

    id, updateFunc := s.getPullId(model)

    if updateFunc != nil {
        go func() {
            err = server.PullModel(s.ctx, model, &server.RegistryOptions{}, updateFunc)
            s.pullLock.Lock()
            defer s.pullLock.Unlock()
            s.pulls[id].err = err
        }()
    }

    module.WriteUint64(pullIdptr, id)

    return ErrorNone
}
로그인 후 복사

함수 내보내기에 대한 간단한 예를 보려면 hello_world 예를 참조하세요.

한 번 정의되면 이제 Satellite.Export를 통해 호출되는 이러한 기능을 통해 Ollama를 Tau 환경에 원활하게 통합할 수 있습니다.

func main() {
    server := new(context.TODO(), "/tmp/ollama-wasm")
    server.init()
    satellite.Export("ollama", server)
}
로그인 후 복사

Ollama 플러그인에 대한 테스트 작성

플러그인 테스트가 간소화되고 간단해졌습니다. Go에서 서버리스 기능 테스트를 작성하는 방법은 다음과 같습니다.

//export pull
func pull() {
    var id uint64
    err := Pull("gemma:2b-instruct", &id)
    if err != 0 {
        panic("failed to call pull")
    }
}
로그인 후 복사

Tau의 테스트 제품군과 Go 빌더 도구를 사용하면 플러그인을 빌드하고, 테스트 환경에 배포하고, 서버리스 기능을 실행하여 기능을 확인할 수 있습니다.

func TestPull(t *testing.T) {
    ctx := context.Background()

    // Create a testing suite to test the plugin
    ts, err := suite.New(ctx)
    assert.NilError(t, err)

    // Use a Go builder to build plugins and wasm
    gob := builder.New()

    // Build the plugin from the directory
    wd, _ := os.Getwd()
    pluginPath, err := gob.Plugin(path.Join(wd, "."), "ollama")
    assert.NilError(t, err)

    // Attach plugin to the testing suite
    err = ts.AttachPluginFromPath(pluginPath)
    assert.NilError(t, err)

    // Build a wasm file from serverless function
    wasmPath, err := gob.Wasm(ctx, path.Join(wd, "fixtures", "pull.go"), path.Join(wd, "fixtures", "common.go"))
    assert.NilError(t, err)

    // Load the wasm module and call the function
    module, err := ts.WasmModule(wasmPath)
    assert.NilError(t, err)

    // Call the "pull" function from our wasm module
    _, err = module.Call(ctx, "pull")
    assert.NilError(t, err)
}
로그인 후 복사

Code

You can find the complete code here https://github.com/ollama-cloud/ollama-as-wasm-plugin/tree/main/Ollama Cloud 구축 - 로컬 추론을 클라우드로 확장

What's Next?

You can now build LLM applications with ease. Here are the steps to get started:

  • Start locally using dream: Set up your local environment to develop and test your application.
  • Create a project: Begin a new project with Tau to harness its full potential.
  • Create your production cloud: Deploy your project in a production cloud environment.
  • Drop the plugin binary in the /tb/plugins folder.
  • Import your project into production
  • Show off!

위 내용은 Ollama Cloud 구축 - 로컬 추론을 클라우드로 확장의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

<gum> : Bubble Gum Simulator Infinity- 로얄 키를 얻고 사용하는 방법
4 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Nordhold : Fusion System, 설명
4 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora : 마녀 트리의 속삭임 - Grappling Hook 잠금 해제 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Golang vs. Python : 성능 및 확장 성 Golang vs. Python : 성능 및 확장 성 Apr 19, 2025 am 12:18 AM

Golang은 성능과 확장 성 측면에서 Python보다 낫습니다. 1) Golang의 컴파일 유형 특성과 효율적인 동시성 모델은 높은 동시성 시나리오에서 잘 수행합니다. 2) 해석 된 언어로서 파이썬은 천천히 실행되지만 Cython과 같은 도구를 통해 성능을 최적화 할 수 있습니다.

Golang 및 C : 동시성 대 원시 속도 Golang 및 C : 동시성 대 원시 속도 Apr 21, 2025 am 12:16 AM

Golang은 동시성에서 C보다 낫고 C는 원시 속도에서 Golang보다 낫습니다. 1) Golang은 Goroutine 및 Channel을 통해 효율적인 동시성을 달성하며, 이는 많은 동시 작업을 처리하는 데 적합합니다. 2) C 컴파일러 최적화 및 표준 라이브러리를 통해 하드웨어에 가까운 고성능을 제공하며 극도의 최적화가 필요한 애플리케이션에 적합합니다.

GOT GO로 시작 : 초보자 가이드 GOT GO로 시작 : 초보자 가이드 Apr 26, 2025 am 12:21 AM

goisidealforbeginnersandsuitableforcloudandnetworkservicesduetoitssimplicity, 효율성, 및 콘크리 론 피처

Golang vs. C : 성능 및 속도 비교 Golang vs. C : 성능 및 속도 비교 Apr 21, 2025 am 12:13 AM

Golang은 빠른 개발 및 동시 시나리오에 적합하며 C는 극도의 성능 및 저수준 제어가 필요한 시나리오에 적합합니다. 1) Golang은 쓰레기 수집 및 동시성 메커니즘을 통해 성능을 향상시키고, 고전성 웹 서비스 개발에 적합합니다. 2) C는 수동 메모리 관리 및 컴파일러 최적화를 통해 궁극적 인 성능을 달성하며 임베디드 시스템 개발에 적합합니다.

Golang의 영향 : 속도, 효율성 및 단순성 Golang의 영향 : 속도, 효율성 및 단순성 Apr 14, 2025 am 12:11 AM

goimpactsdevelopmentpositively throughlyspeed, 효율성 및 단순성.

Golang vs. Python : 주요 차이점과 유사성 Golang vs. Python : 주요 차이점과 유사성 Apr 17, 2025 am 12:15 AM

Golang과 Python은 각각 고유 한 장점이 있습니다. Golang은 고성능 및 동시 프로그래밍에 적합하지만 Python은 데이터 과학 및 웹 개발에 적합합니다. Golang은 동시성 모델과 효율적인 성능으로 유명하며 Python은 간결한 구문 및 풍부한 라이브러리 생태계로 유명합니다.

Golang 및 C : 성능 상충 Golang 및 C : 성능 상충 Apr 17, 2025 am 12:18 AM

Golang과 C의 성능 차이는 주로 메모리 관리, 컴파일 최적화 및 런타임 효율에 반영됩니다. 1) Golang의 쓰레기 수집 메커니즘은 편리하지만 성능에 영향을 줄 수 있습니다. 2) C의 수동 메모리 관리 및 컴파일러 최적화는 재귀 컴퓨팅에서 더 효율적입니다.

공연 경주 : 골랑 대 c 공연 경주 : 골랑 대 c Apr 16, 2025 am 12:07 AM

Golang과 C는 각각 공연 경쟁에서 고유 한 장점을 가지고 있습니다. 1) Golang은 높은 동시성과 빠른 발전에 적합하며 2) C는 더 높은 성능과 세밀한 제어를 제공합니다. 선택은 프로젝트 요구 사항 및 팀 기술 스택을 기반으로해야합니다.

See all articles