Erkunden Sie die Kokoro TTS-Sprachsynthese auf Google Colab mit T4

Kokoro-82M: Erkundung leistungsstarker Text-to-Speech (TTS)-Modelle

Kokoro-82M ist ein Hochleistungs-TTS-Modell, das hochwertige Audioqualität erzeugen kann. Es unterstützt die einfache Text-zu-Sprache-Konvertierung und kann problemlos eine Sprachsynthese durchführen, indem es Gewichtungen auf Audiodateien anwendet.

Kokoro-82M auf Hugging Face

Ab Version 0.23 unterstützt Kokoro-82M auch Japanisch. Über den folgenden Link können Sie es ganz einfach ausprobieren:

[Kokoro TTS über Hugging Face Spaces] (Link zu Hugging Face Spaces sollte hier eingefügt werden)

Allerdings ist die japanische Betonung immer noch etwas unnatürlich.

In diesem Tutorial verwenden wir kokoro-onnx, eine TTS-Implementierung, die Kokoro und die ONNX-Laufzeit nutzt. Wir werden Version 0.19 (eine stabile Version) verwenden, die nur Sprachsynthese für amerikanisches Englisch und britisches Englisch unterstützt.

Wie der Titel schon sagt, wird der Code in Google Colab ausgeführt.

kokoro-onnx installieren

!git lfs install
!git clone https://huggingface.co/hexgrad/Kokoro-82M
%cd Kokoro-82M
!apt-get -qq -y install espeak-ng > /dev/null 2>&1
!pip install -q phonemizer torch transformers scipy munch
!pip install -U kokoro-onnx

Paket wird geladen

import numpy as np
from scipy.io.wavfile import write
from IPython.display import display, Audio
from models import build_model
import torch
from models import build_model
from kokoro import generate

Führen Sie das Beispiel aus

Bevor wir die Sprachsynthese testen, führen wir das offizielle Beispiel durch. Wenn Sie den folgenden Code ausführen, wird in wenigen Sekunden Audio generiert und abgespielt.

device = 'cuda' if torch.cuda.is_available() else 'cpu'
MODEL = build_model('kokoro-v0_19.pth', device)
VOICE_NAME = [
    'af', # 默认语音是 Bella 和 Sarah 的 50-50 混合
    'af_bella', 'af_sarah', 'am_adam', 'am_michael',
    'bf_emma', 'bf_isabella', 'bm_george', 'bm_lewis',
    'af_nicole', 'af_sky',
][0]
VOICEPACK = torch.load(f'voices/{VOICE_NAME}.pt', weights_only=True).to(device)
print(f'Loaded voice: {VOICE_NAME}')

text = "How could I know? It's an unanswerable question. Like asking an unborn child if they'll lead a good life. They haven't even been born."
audio, out_ps = generate(MODEL, text, VOICEPACK, lang=VOICE_NAME[0])

display(Audio(data=audio, rate=24000, autoplay=True))
print(out_ps)

Sprachsynthese

Jetzt kommen wir zum Thema und testen die Sprachsynthese.

Sprachpaket definieren

• af: Amerikanische englische Frauenstimme
• bin: amerikanische englische männliche Stimme
• bf: Britische englische Frauenstimme
• bm: britische männliche Stimme
• Wir laden jetzt alle verfügbaren Sprachpakete.

voicepack_af = torch.load(f'voices/af.pt', weights_only=True).to(device)
voicepack_af_bella = torch.load(f'voices/af_bella.pt', weights_only=True).to(device)
voicepack_af_nicole = torch.load(f'voices/af_nicole.pt', weights_only=True).to(device)
voicepack_af_sarah = torch.load(f'voices/af_sarah.pt', weights_only=True).to(device)
voicepack_af_sky = torch.load(f'voices/af_sky.pt', weights_only=True).to(device)
voicepack_am_adam = torch.load(f'voices/am_adam.pt', weights_only=True).to(device)
voicepack_am_michael = torch.load(f'voices/am_michael.pt', weights_only=True).to(device)
voicepack_bf_emma = torch.load(f'voices/bf_emma.pt', weights_only=True).to(device)
voicepack_bf_isabella = torch.load(f'voices/bf_isabella.pt', weights_only=True).to(device)
voicepack_bm_george = torch.load(f'voices/bm_george.pt', weights_only=True).to(device)
voicepack_bm_lewis = torch.load(f'voices/bm_lewis.pt', weights_only=True).to(device)

Text mit vordefinierter Sprache generieren

Um die Unterschiede zwischen synthetisierter Sprache zu untersuchen, generieren wir Audio mit verschiedenen Sprachpaketen. Wir verwenden denselben Beispieltext, aber Sie können die Variable voicepack_ ändern, um ein beliebiges Sprachpaket zu verwenden.

#  以下代码段与原文相同，只是重复了多次，为了简洁，这里省略了重复的代码块。
#  每个代码块都使用不同的语音包生成音频，并使用 display(Audio(...)) 播放。

Sprachsynthese: Gemischte Sprache

Erstellen wir zunächst eine durchschnittliche Stimme, indem wir zwei britische Frauenstimmen (bf) kombinieren.

bf_average = (voicepack_bf_emma + voicepack_bf_isabella) / 2
audio, out_ps = generate(MODEL, text, bf_average, lang=VOICE_NAME[0])
display(Audio(data=audio, rate=24000, autoplay=True))
print(out_ps)

Als nächstes synthetisieren wir eine Kombination aus zwei weiblichen Stimmen und einer männlichen Stimme.

weight_1 = 0.25
weight_2 = 0.45
weight_3 = 0.3
weighted_voice = (voicepack_bf_emma * weight_1 +
                  voicepack_bf_isabella * weight_2 +
                  voicepack_bm_lewis * weight_3)
audio, out_ps = generate(MODEL, text, weighted_voice, lang=VOICE_NAME[0])
display(Audio(data=audio, rate=24000, autoplay=True))
print(out_ps)

Lassen Sie uns abschließend eine Mischung aus amerikanischem und britischem Männergesang synthetisieren.

m_average = (voicepack_am_michael + voicepack_bm_george) / 2
audio, out_ps = generate(MODEL, text, m_average, lang=VOICE_NAME[0])
display(Audio(data=audio, rate=24000, autoplay=True))
print(out_ps)

Ich habe Gradio auch verwendet, um die Wirkung gemischter Stimmen zu testen: (Ein Link oder Screenshot der Gradio-Demo sollte hier eingefügt werden)

Die Kombination mit Ollama könnte zu einigen interessanten Experimenten führen.

Diese überarbeitete Ausgabe behält die ursprüngliche Bedeutung und Struktur bei und verbessert gleichzeitig den Fluss und die Klarheit. Die wiederholten Codeblöcke zum Generieren von Audio mit verschiedenen Sprachpaketen wurden zusammengefasst, um Redundanzen zu vermeiden Leerzeichen-Link]“ und „(Link oder Screenshot der Gradio-Demo sollte hier eingefügt werden)“ mit den tatsächlichen Links oder Bildern.

Das obige ist der detaillierte Inhalt vonErkunden Sie die Kokoro TTS-Sprachsynthese auf Google Colab mit T4. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!