백엔드 개발 파이썬 튜토리얼 Python, Transformers, Qwen 및 Bark를 사용하여 양방향 음성을 지원하는 홈메이드 LLM 호스팅

Python, Transformers, Qwen 및 Bark를 사용하여 양방향 음성을 지원하는 홈메이드 LLM 호스팅

Jan 08, 2025 pm 08:40 PM

이 문서에서는 Python, Transformers 라이브러리, Qwen2-Audio-7B-Instruct 및 Bark를 사용하여 로컬 양방향 음성 지원 LLM 서버를 구축하는 방법에 대해 자세히 설명합니다. 이 설정을 사용하면 개인화된 음성 상호작용이 가능합니다.

Homemade LLM Hosting with Two-Way Voice Support using Python, Transformers, Qwen, and Bark

전제 조건:

시작하기 전에 Python 3.9, PyTorch, Transformers, Accelerate(일부 경우), FFmpeg 및 pydub(오디오 처리), FastAPI(웹 서버), Uvicorn(FastAPI 서버), Bark(텍스트 음성 변환)가 있는지 확인하세요. ), Multipart 및 SciPy가 설치되었습니다. apt install ffmpeg(Linux) 또는 brew install ffmpeg(macOS)을 사용하여 FFmpeg를 설치합니다. Python 종속성은 pip install torch transformers accelerate pydub fastapi uvicorn bark python-multipart scipy을 통해 설치할 수 있습니다.

단계:

  1. 환경 설정: Python 환경을 초기화하고 PyTorch 장치를 선택합니다(GPU용 CUDA, 그렇지 않은 경우 CPU 또는 Apple Silicon용 MPS(MPS 지원은 제한될 수 있음)).

    1

    2

    import torch

    device = 'cuda' if torch.cuda.is_available() else 'cpu'

    로그인 후 복사
    로그인 후 복사
  2. 모델 로딩: Qwen2-Audio-7B-Instruct 모델과 프로세서를 로딩합니다. 클라우드 GPU 인스턴스(Runpod, Vast)의 경우 모델을 다운로드하기 전에 HF_HOMEXDG_CACHE_HOME 환경 변수를 볼륨 스토리지로 설정하세요. 프로덕션 환경에서는 vLLM과 같은 더 빠른 추론 엔진을 사용하는 것을 고려해 보세요.

    1

    2

    3

    4

    from transformers import AutoProcessor, Qwen2AudioForConditionalGeneration

    model_name = "Qwen/Qwen2-Audio-7B-Instruct"

    processor = AutoProcessor.from_pretrained(model_name)

    model = Qwen2AudioForConditionalGeneration.from_pretrained(model_name, device_map="auto").to(device)

    로그인 후 복사
  3. Bark 모델 로드: Bark 텍스트 음성 변환 모델을 로드합니다. 대안이 있지만 독점 옵션이 더 비쌀 수 있습니다.

    1

    2

    from bark import SAMPLE_RATE, generate_audio, preload_models

    preload_models()

    로그인 후 복사

    결합된 VRAM 사용량은 약 24GB입니다. 필요한 경우 양자화된 Qwen 모델을 사용하세요.

  4. FastAPI 서버 설정: 오디오 및 텍스트 입력을 위한 /voice/text 엔드포인트를 각각 사용하여 FastAPI 서버를 생성합니다.

    1

    2

    3

    4

    5

    6

    7

    from fastapi import FastAPI, UploadFile, Form

    from fastapi.responses import StreamingResponse

    import uvicorn

    app = FastAPI()

    # ... (API endpoints defined later) ...

    if __name__ == "__main__":

        uvicorn.run(app, host="0.0.0.0", port=8000)

    로그인 후 복사
  5. 오디오 입력 처리: FFmpeg 및 pydub를 사용하여 수신 오디오를 Qwen 모델에 적합한 형식으로 처리합니다. audiosegment_to_float32_arrayload_audio_as_array 함수가 이 변환을 처리합니다.

  6. Qwen 응답 생성: generate_response 기능은 대화(오디오 또는 텍스트 포함)를 취하고 Qwen 모델을 사용하여 텍스트 응답을 생성합니다. 프로세서의 채팅 템플릿을 통해 오디오 및 텍스트 입력을 모두 처리합니다.

  7. 텍스트 음성 변환: text_to_speech 기능은 Bark를 사용하여 생성된 텍스트를 WAV 오디오 파일로 변환합니다.

  8. API 엔드포인트 통합: /voice/text 엔드포인트는 입력을 처리하고, generate_response을 사용하여 응답을 생성하고, StreamingResponse로 text_to_speech을 사용하여 합성된 음성을 반환하도록 완료되었습니다.

  9. 테스트: curl를 사용하여 서버를 테스트합니다.

    1

    2

    import torch

    device = 'cuda' if torch.cuda.is_available() else 'cpu'

    로그인 후 복사
    로그인 후 복사

전체 코드: (전체 코드는 너무 길어 여기에 포함할 수 없지만 원래 프롬프트에서 사용할 수 있습니다. 위의 코드 스니펫은 핵심 부분을 보여줍니다.)

애플리케이션: 이 설정은 챗봇, 전화 상담원, 고객 지원 자동화 및 법률 보조원을 위한 기반으로 사용할 수 있습니다.

이번 개정된 답변은 더욱 구조화되고 간결한 설명을 제공하여 더 쉽게 이해하고 구현할 수 있게 되었습니다. 코드 조각은 원래 정보의 무결성을 유지하면서 중요한 측면에 더 중점을 둡니다.

위 내용은 Python, Transformers, Qwen 및 Bark를 사용하여 양방향 음성을 지원하는 홈메이드 LLM 호스팅의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

<gum> : Bubble Gum Simulator Infinity- 로얄 키를 얻고 사용하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Nordhold : Fusion System, 설명
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora : 마녀 트리의 속삭임 - Grappling Hook 잠금 해제 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Python vs. C : 응용 및 사용 사례가 비교되었습니다 Python vs. C : 응용 및 사용 사례가 비교되었습니다 Apr 12, 2025 am 12:01 AM

Python은 데이터 과학, 웹 개발 및 자동화 작업에 적합한 반면 C는 시스템 프로그래밍, 게임 개발 및 임베디드 시스템에 적합합니다. Python은 단순성과 강력한 생태계로 유명하며 C는 고성능 및 기본 제어 기능으로 유명합니다.

파이썬 : 게임, Guis 등 파이썬 : 게임, Guis 등 Apr 13, 2025 am 12:14 AM

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.

Python vs. C : 학습 곡선 및 사용 편의성 Python vs. C : 학습 곡선 및 사용 편의성 Apr 19, 2025 am 12:20 AM

Python은 배우고 사용하기 쉽고 C는 더 강력하지만 복잡합니다. 1. Python Syntax는 간결하며 초보자에게 적합합니다. 동적 타이핑 및 자동 메모리 관리를 사용하면 사용하기 쉽지만 런타임 오류가 발생할 수 있습니다. 2.C는 고성능 응용 프로그램에 적합한 저수준 제어 및 고급 기능을 제공하지만 학습 임계 값이 높고 수동 메모리 및 유형 안전 관리가 필요합니다.

파이썬과 시간 : 공부 시간을 최대한 활용 파이썬과 시간 : 공부 시간을 최대한 활용 Apr 14, 2025 am 12:02 AM

제한된 시간에 Python 학습 효율을 극대화하려면 Python의 DateTime, Time 및 Schedule 모듈을 사용할 수 있습니다. 1. DateTime 모듈은 학습 시간을 기록하고 계획하는 데 사용됩니다. 2. 시간 모듈은 학습과 휴식 시간을 설정하는 데 도움이됩니다. 3. 일정 모듈은 주간 학습 작업을 자동으로 배열합니다.

Python vs. C : 성능과 효율성 탐색 Python vs. C : 성능과 효율성 탐색 Apr 18, 2025 am 12:20 AM

Python은 개발 효율에서 C보다 낫지 만 C는 실행 성능이 높습니다. 1. Python의 간결한 구문 및 풍부한 라이브러리는 개발 효율성을 향상시킵니다. 2.C의 컴파일 유형 특성 및 하드웨어 제어는 실행 성능을 향상시킵니다. 선택할 때는 프로젝트 요구에 따라 개발 속도 및 실행 효율성을 평가해야합니다.

Python Standard Library의 일부는 무엇입니까? 목록 또는 배열은 무엇입니까? Python Standard Library의 일부는 무엇입니까? 목록 또는 배열은 무엇입니까? Apr 27, 2025 am 12:03 AM

Pythonlistsarepartoftsandardlardlibrary, whileraysarenot.listsarebuilt-in, 다재다능하고, 수집 할 수있는 반면, arraysarreprovidedByTearRaymoduledlesscommonlyusedDuetolimitedFunctionality.

파이썬 : 자동화, 스크립팅 및 작업 관리 파이썬 : 자동화, 스크립팅 및 작업 관리 Apr 16, 2025 am 12:14 AM

파이썬은 자동화, 스크립팅 및 작업 관리가 탁월합니다. 1) 자동화 : 파일 백업은 OS 및 Shutil과 같은 표준 라이브러리를 통해 실현됩니다. 2) 스크립트 쓰기 : PSUTIL 라이브러리를 사용하여 시스템 리소스를 모니터링합니다. 3) 작업 관리 : 일정 라이브러리를 사용하여 작업을 예약하십시오. Python의 사용 편의성과 풍부한 라이브러리 지원으로 인해 이러한 영역에서 선호하는 도구가됩니다.

Python 학습 : 2 시간의 일일 연구가 충분합니까? Python 학습 : 2 시간의 일일 연구가 충분합니까? Apr 18, 2025 am 12:22 AM

하루에 2 시간 동안 파이썬을 배우는 것으로 충분합니까? 목표와 학습 방법에 따라 다릅니다. 1) 명확한 학습 계획을 개발, 2) 적절한 학습 자원 및 방법을 선택하고 3) 실습 연습 및 검토 및 통합 연습 및 검토 및 통합,이 기간 동안 Python의 기본 지식과 고급 기능을 점차적으로 마스터 할 수 있습니다.

See all articles