Ersetzen nur des Hintergrunds eines Bildes durch KI-Generierung mithilfe der Stable Diffusion Web API

Einführung

Diese Anleitung zeigt, wie Sie den Hintergrund eines Bildes nur mit Python-Code ersetzen, ohne auf Bildbearbeitungssoftware wie Photoshop angewiesen zu sein. Das Ziel besteht darin, das Motiv beim Wechseln in einen von der KI generierten Hintergrund intakt zu halten.

Auch wenn dieser Ansatz vielleicht nicht revolutionär ist, geht er doch auf ein allgemeines Bedürfnis ein, daher hoffe ich, dass er für diejenigen mit ähnlichen Anforderungen hilfreich sein wird.

Eingabe- und Ausgabebilder

Beginnen wir mit den Ergebnissen.

Das folgende Ausgabebild wurde aus dem unten gezeigten Eingabebild generiert.

Eingabebild

Ausgabebild

Bibliotheken

Installieren Sie Anforderungen zur Verarbeitung der API-Aufrufe.

$ pip install requests

Ich habe die Version wie folgt überprüft:

$ pip list | grep -e requests
requests                  2.31.0

API-Schlüssel

Zur Hintergrundgenerierung verwenden wir die Web-API von Stability AI.

Um auf diese API zuzugreifen, müssen Sie einen API-Schlüssel von der Entwicklerplattform erhalten. Die Preise finden Sie auf der Seite „Preise“.

Um Ihren Schlüssel sicher zu halten, speichern Sie ihn als Umgebungsvariable, anstatt ihn fest in Ihrem Code zu codieren.

In meiner Umgebung verwende ich die zshrc-Einstellungsdatei.

$ open ~/.zshrc

Ich habe den Schlüssel unter dem Namen STABILITY_API_KEY gespeichert.

export STABILITY_API_KEY=your_api_key_here

Code

Hier verwenden wir die Remove Background API, um das Subjekt zu isolieren. Anschließend übergeben wir das extrahierte Bild an die Inpaint-API, um den neuen Hintergrund zu erstellen.

Die verwendete Eingabeaufforderung lautet „Große Glasfenster mit Blick auf die dahinter liegende Metropole“

import os
import requests

# File paths
input_path = './input.png'  # Original image
mask_path = './mask.png'  # Mask image (temporarily generated)
output_path = './output.png'  # Output image

# Check for API Key
api_key = os.getenv("STABILITY_API_KEY")
if api_key is None:
    raise Exception("Missing Stability API key.")

headers = {
    "Accept": "image/*",
    "Authorization": f"Bearer {api_key}"
}

# Call Remove Background API
response = requests.post(
    f"https://api.stability.ai/v2beta/stable-image/edit/remove-background",
    headers=headers,
    files={
        "image": open(input_path, "rb")
    },
    data={
        "output_format": "png"
    },
)

# Save mask image
if response.status_code == 200:
    with open(mask_path, 'wb') as file:
        file.write(response.content)
else:
    raise Exception(str(response.json()))

# Call Inpaint API
response = requests.post(
    "https://api.stability.ai/v2beta/stable-image/edit/inpaint",
    headers=headers,
    files={
        "image": open(mask_path, "rb"),
    },
    data={
        "prompt": "Large glass windows with a view of the metropolis behind",
        "output_format": "png",
        "grow_mask": 0,  # Disable blurring around the mask
    },
)

# Delete mask image
os.remove(mask_path)

# Save output image
if response.status_code == 200:
    with open(output_path, "wb") as file:
        file.write(response.content)
else:
    raise Exception(str(response.json()))

Mit rembg

Ein weiterer Ansatz zur Hintergrundentfernung ist die Verwendung von rembg. Diese Methode erfordert nur einen API-Aufruf, was sie kostengünstiger macht, allerdings kann es zu Unterschieden in der Extraktionsgenauigkeit kommen.

Installieren Sie zunächst rembg.

$ pip install rembg

Ich habe die Version wie folgt überprüft:

$ pip list | grep -e rembg
rembg                     2.0.59

Hier ist der Code für diesen Ansatz:

from rembg import remove
import os
import requests

# File paths
input_path = './input.png'  # Input image path
mask_path = './mask.png'  # Mask image path (temporarily generated)
output_path = './output.png'  # Output image path

# Generate mask image with background removed
with open(input_path, 'rb') as i:
    with open(mask_path, 'wb') as o:
        input_image = i.read()
        mask_image = remove(input_image)
        o.write(mask_image)

# Check for API Key
api_key = os.getenv("STABILITY_API_KEY")
if api_key is None:
    raise Exception("Missing Stability API key.")

# Call Inpaint API
response = requests.post(
    "https://api.stability.ai/v2beta/stable-image/edit/inpaint",
    headers={
        "Accept": "image/*",
        "Authorization": f"Bearer {api_key}"
    },
    files={
        "image": open(mask_path, "rb"),
    },
    data={
        "prompt": "Large glass windows with a view of the metropolis behind",
        "output_format": "png",
        "grow_mask": 0,
    },
)

# Delete mask image
os.remove(mask_path)

# Save output image
if response.status_code == 200:
    with open(output_path, "wb") as file:
        file.write(response.content)
else:
    raise Exception(str(response.json()))

Hier ist das Ausgabebild. In diesem Fall scheint die Genauigkeit der Extraktion zufriedenstellend zu sein.

Wenn Sie eine lokale Stable Diffusion-Umgebung einrichten, können Sie die Kosten für API-Aufrufe eliminieren. Probieren Sie diese Option also gerne aus, wenn sie Ihren Anforderungen entspricht.

Abschluss

Dies allein durch Code erreichen zu können, ist äußerst praktisch.

Es ist spannend, Zeuge der kontinuierlichen Verbesserungen der Workflow-Effizienz zu werden.

Originaler japanischer Artikel

Ich habe die Web-API von Stable Diffusion verwendet, um nur den Hintergrund durch KI-Generierung zu ersetzen, während die Person im Bild unverändert blieb.

Das obige ist der detaillierte Inhalt vonErsetzen nur des Hintergrunds eines Bildes durch KI-Generierung mithilfe der Stable Diffusion Web API. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!