Python, Transformers, Qwen 및 Bark를 사용하여 양방향 음성을 지원하는 홈메이드 LLM 호스팅
이 문서에서는 Python, Transformers 라이브러리, Qwen2-Audio-7B-Instruct 및 Bark를 사용하여 로컬 양방향 음성 지원 LLM 서버를 구축하는 방법에 대해 자세히 설명합니다. 이 설정을 사용하면 개인화된 음성 상호작용이 가능합니다.
전제 조건:
시작하기 전에 Python 3.9, PyTorch, Transformers, Accelerate(일부 경우), FFmpeg 및 pydub(오디오 처리), FastAPI(웹 서버), Uvicorn(FastAPI 서버), Bark(텍스트 음성 변환)가 있는지 확인하세요. ), Multipart 및 SciPy가 설치되었습니다. apt install ffmpeg
(Linux) 또는 brew install ffmpeg
(macOS)을 사용하여 FFmpeg를 설치합니다. Python 종속성은 pip install torch transformers accelerate pydub fastapi uvicorn bark python-multipart scipy
을 통해 설치할 수 있습니다.
단계:
-
환경 설정: Python 환경을 초기화하고 PyTorch 장치를 선택합니다(GPU용 CUDA, 그렇지 않은 경우 CPU 또는 Apple Silicon용 MPS(MPS 지원은 제한될 수 있음)).
1
2
import torch
device =
'cuda'
if
torch.cuda.is_available()
else
'cpu'
로그인 후 복사로그인 후 복사 -
모델 로딩: Qwen2-Audio-7B-Instruct 모델과 프로세서를 로딩합니다. 클라우드 GPU 인스턴스(Runpod, Vast)의 경우 모델을 다운로드하기 전에
HF_HOME
및XDG_CACHE_HOME
환경 변수를 볼륨 스토리지로 설정하세요. 프로덕션 환경에서는 vLLM과 같은 더 빠른 추론 엔진을 사용하는 것을 고려해 보세요.1
2
3
4
from transformers import AutoProcessor, Qwen2AudioForConditionalGeneration
model_name =
"Qwen/Qwen2-Audio-7B-Instruct"
processor = AutoProcessor.from_pretrained(model_name)
model = Qwen2AudioForConditionalGeneration.from_pretrained(model_name, device_map=
"auto"
).to(device)
로그인 후 복사 -
Bark 모델 로드: Bark 텍스트 음성 변환 모델을 로드합니다. 대안이 있지만 독점 옵션이 더 비쌀 수 있습니다.
1
2
from bark import SAMPLE_RATE, generate_audio, preload_models
preload_models()
로그인 후 복사결합된 VRAM 사용량은 약 24GB입니다. 필요한 경우 양자화된 Qwen 모델을 사용하세요.
-
FastAPI 서버 설정: 오디오 및 텍스트 입력을 위한
/voice
및/text
엔드포인트를 각각 사용하여 FastAPI 서버를 생성합니다.1
2
3
4
5
6
7
from fastapi import FastAPI, UploadFile, Form
from fastapi.responses import StreamingResponse
import uvicorn
app = FastAPI()
# ... (API endpoints defined later) ...
if
__name__ ==
"__main__"
:
uvicorn.run(app, host=
"0.0.0.0"
, port=8000)
로그인 후 복사 -
오디오 입력 처리: FFmpeg 및 pydub를 사용하여 수신 오디오를 Qwen 모델에 적합한 형식으로 처리합니다.
audiosegment_to_float32_array
및load_audio_as_array
함수가 이 변환을 처리합니다. -
Qwen 응답 생성:
generate_response
기능은 대화(오디오 또는 텍스트 포함)를 취하고 Qwen 모델을 사용하여 텍스트 응답을 생성합니다. 프로세서의 채팅 템플릿을 통해 오디오 및 텍스트 입력을 모두 처리합니다. -
텍스트 음성 변환:
text_to_speech
기능은 Bark를 사용하여 생성된 텍스트를 WAV 오디오 파일로 변환합니다. -
API 엔드포인트 통합:
/voice
및/text
엔드포인트는 입력을 처리하고,generate_response
을 사용하여 응답을 생성하고, StreamingResponse로text_to_speech
을 사용하여 합성된 음성을 반환하도록 완료되었습니다. -
테스트:
curl
를 사용하여 서버를 테스트합니다.1
2
import torch
device =
'cuda'
if
torch.cuda.is_available()
else
'cpu'
로그인 후 복사로그인 후 복사
전체 코드: (전체 코드는 너무 길어 여기에 포함할 수 없지만 원래 프롬프트에서 사용할 수 있습니다. 위의 코드 스니펫은 핵심 부분을 보여줍니다.)
애플리케이션: 이 설정은 챗봇, 전화 상담원, 고객 지원 자동화 및 법률 보조원을 위한 기반으로 사용할 수 있습니다.
이번 개정된 답변은 더욱 구조화되고 간결한 설명을 제공하여 더 쉽게 이해하고 구현할 수 있게 되었습니다. 코드 조각은 원래 정보의 무결성을 유지하면서 중요한 측면에 더 중점을 둡니다.
위 내용은 Python, Transformers, Qwen 및 Bark를 사용하여 양방향 음성을 지원하는 홈메이드 LLM 호스팅의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

Python은 데이터 과학, 웹 개발 및 자동화 작업에 적합한 반면 C는 시스템 프로그래밍, 게임 개발 및 임베디드 시스템에 적합합니다. Python은 단순성과 강력한 생태계로 유명하며 C는 고성능 및 기본 제어 기능으로 유명합니다.

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.

Python은 배우고 사용하기 쉽고 C는 더 강력하지만 복잡합니다. 1. Python Syntax는 간결하며 초보자에게 적합합니다. 동적 타이핑 및 자동 메모리 관리를 사용하면 사용하기 쉽지만 런타임 오류가 발생할 수 있습니다. 2.C는 고성능 응용 프로그램에 적합한 저수준 제어 및 고급 기능을 제공하지만 학습 임계 값이 높고 수동 메모리 및 유형 안전 관리가 필요합니다.

제한된 시간에 Python 학습 효율을 극대화하려면 Python의 DateTime, Time 및 Schedule 모듈을 사용할 수 있습니다. 1. DateTime 모듈은 학습 시간을 기록하고 계획하는 데 사용됩니다. 2. 시간 모듈은 학습과 휴식 시간을 설정하는 데 도움이됩니다. 3. 일정 모듈은 주간 학습 작업을 자동으로 배열합니다.

Python은 개발 효율에서 C보다 낫지 만 C는 실행 성능이 높습니다. 1. Python의 간결한 구문 및 풍부한 라이브러리는 개발 효율성을 향상시킵니다. 2.C의 컴파일 유형 특성 및 하드웨어 제어는 실행 성능을 향상시킵니다. 선택할 때는 프로젝트 요구에 따라 개발 속도 및 실행 효율성을 평가해야합니다.

Pythonlistsarepartoftsandardlardlibrary, whileraysarenot.listsarebuilt-in, 다재다능하고, 수집 할 수있는 반면, arraysarreprovidedByTearRaymoduledlesscommonlyusedDuetolimitedFunctionality.

파이썬은 자동화, 스크립팅 및 작업 관리가 탁월합니다. 1) 자동화 : 파일 백업은 OS 및 Shutil과 같은 표준 라이브러리를 통해 실현됩니다. 2) 스크립트 쓰기 : PSUTIL 라이브러리를 사용하여 시스템 리소스를 모니터링합니다. 3) 작업 관리 : 일정 라이브러리를 사용하여 작업을 예약하십시오. Python의 사용 편의성과 풍부한 라이브러리 지원으로 인해 이러한 영역에서 선호하는 도구가됩니다.

하루에 2 시간 동안 파이썬을 배우는 것으로 충분합니까? 목표와 학습 방법에 따라 다릅니다. 1) 명확한 학습 계획을 개발, 2) 적절한 학습 자원 및 방법을 선택하고 3) 실습 연습 및 검토 및 통합 연습 및 검토 및 통합,이 기간 동안 Python의 기본 지식과 고급 기능을 점차적으로 마스터 할 수 있습니다.
