Wie lade ich große Dateien (≥3 GB) effektiv auf ein FastAPI-Backend hoch?

Wie lade ich eine große Datei (≥3 GB) in das FastAPI-Backend hoch?

FastAPI kann Dateien mit mehr als 1 MB verarbeiten, indem Teile der Datei abgerufen werden nacheinander aus dem Anfragetext. Durch diesen Ansatz entfällt die Notwendigkeit, die gesamte Datei in den Speicher zu laden, was beim Umgang mit großen Dateien empfohlen wird.

Clientseitige Anforderung:

m = MultipartEncoder(fields = {"upload_file":open(file_name,'rb')})
prefix = "http://xxx:5000"
url = "{}/v1/uploadfiles".format(prefix)
try:
    req = requests.post(
    url,
    data=m,
    verify=False,
            )

Serverseitige Antwort:

HTTP 422 {"detail":[{"loc":["body","upload_file"],"msg":"field required","type":"value_error.missing"}]}

Grund dafür Fehler:

Der Fehler tritt auf, weil die clientseitige Anfrage den Content-Type-Header weglässt. FastAPI erwartet, dass der Client beim Hochladen von Dateien mehrteilige/Formulardatenanfragen sendet. Ohne den Content-Type-Header kann FastAPI den Anfragetext nicht korrekt analysieren.

Lösung 1 (empfohlen): Verwendung von Streaming-Datei-Uploads und Chunk-Encoded-Anfragen

HTTPX-Bibliothek unterstützt standardmäßig das Hochladen von Streaming-Dateien, sodass Sie Dateien senden können, ohne sie vollständig zu laden Speicher.

Beispiel:

import httpx
import time

url = 'http://127.0.0.1:8000/upload'
files = {'file': open('bigFile.zip', 'rb')}
headers = {'Filename': 'bigFile.zip'}
data = {'data': 'Hello World!'}

with httpx.Client() as client:
    start = time.time()
    r = client.post(url, data=data, files=files, headers=headers)
    end = time.time()
    print(f'Time elapsed: {end - start}s')
    print(r.status_code, r.json(), sep=' ')

Lösung 2: Bibliothek „streaming_form_data“ verwenden

Diese Bibliothek stellt ein Streaming-Multipart/Formular bereit -Datenparser für Python, der es Ihnen ermöglicht, mehrteilige/Formulardatenanfragen zu analysieren, ohne den gesamten Anfragetext vollständig zu laden Erinnerung.

Beispiel:

from streaming_form_data import StreamingFormDataParser
from streaming_form_data.targets import FileTarget, ValueTarget

app = FastAPI()
MAX_REQUEST_BODY_SIZE = 1024 * 1024 * 1024 * 4  # = 4GB
MAX_FILE_SIZE = 1024 * 1024 * 1024 * 3  # = 3GB

@app.post('/upload')
async def upload(request: Request):
    
    parser = StreamingFormDataParser(headers=request.headers)
    filename = request.headers.get('Filename')
    file_ = FileTarget('./' + filename)
    data = ValueTarget()
    parser.register('file', file_)
    parser.register('data', data)
    body_validator = MaxBodySizeValidator(MAX_REQUEST_BODY_SIZE)
    file_validator = MaxSizeValidator(MAX_FILE_SIZE)
    
    async for chunk in request.stream():
        body_validator(chunk)
        parser.data_received(chunk)

Das obige ist der detaillierte Inhalt vonWie lade ich große Dateien (≥3 GB) effektiv auf ein FastAPI-Backend hoch?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!