Optimieren Sie den asynchronen Aufgabenverarbeitungsprozess mit Celery Redis Django

Verwenden Sie Celery Redis Django, um den asynchronen Aufgabenverarbeitungsprozess zu optimieren

Während des Entwicklungsprozesses stoßen Sie häufig auf einige zeitaufwändige Aufgaben, die verarbeitet werden müssen, wie z. B. Netzwerkanfragen, Datei-Uploads, Datenverarbeitung usw. Wenn Sie während der Anforderungsverarbeitung auf den Abschluss dieser Aufgaben warten, wird die Benutzererfahrung beeinträchtigt oder die Anforderung wird sogar blockiert. Um dieses Problem zu lösen, kann die asynchrone Aufgabenverarbeitung verwendet werden, um die Leistung und Reaktionsgeschwindigkeit des Systems zu verbessern.

Celery ist ein häufig verwendetes Python-Framework für die asynchrone Aufgabenverarbeitung. Es verwendet Nachrichten-Middleware, um die Aufgabenverteilung und den Aufgabenempfang zu implementieren. Redis ist eine beliebte Messaging-Middleware, die als Messaging-Proxy von Celery dienen kann. Django ist ein häufig verwendetes Python-Webframework, das nahtlos in Celery und Redis integriert werden kann, um ein besseres Entwicklungserlebnis zu bieten.

In diesem Artikel wird erläutert, wie Sie mit Celery, Redis und Django den asynchronen Aufgabenverarbeitungsprozess optimieren, und es werden spezifische Codebeispiele bereitgestellt.

Zunächst müssen Sie Celery und Redis installieren und zu Ihrem Django-Projekt hinzufügen. Sie können den Befehl pip verwenden, um die erforderlichen Bibliotheken zu installieren:

pip install Celery Redis

Fügen Sie nach der Installation die folgende Konfiguration in der Datei „settings.py“ des Django-Projekts hinzu:

# settings.py

CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'

Unter diesen gibt CELERY_BROKER_URL die Verbindungsadresse und den Port von Redis an CELERY_RESULT_BACKEND gibt den Speicher an. Die Redis-Adresse des Aufgabenergebnisses.

Als nächstes erstellen Sie eine task.py-Datei, die die Aufgaben definiert, die asynchron verarbeitet werden müssen:

# tasks.py

from celery import shared_task

@shared_task
def process_file(file_path):
    # 处理文件的耗时操作
    # ...

@shared_task
def request_api(url):
    # 发送网络请求的耗时操作
    # ...

In Django verwenden Sie den Dekorator @shared_task, um die Funktion als gemeinsame Aufgabe zu deklarieren. Diese Aufgaben werden von Celery automatisch erkannt und verarbeitet. @shared_task装饰器将函数声明为共享任务。这些任务将会被Celery自动发现并处理。

在views.py中，可以调用这些任务来进行异步处理：

# views.py

from .tasks import process_file, request_api

def upload_file(request):
    if request.method == 'POST':
        file = request.FILES['file']
        # 将上传的文件保存到磁盘
        with open(file_path, 'wb+') as destination:
            for chunk in file.chunks():
                destination.write(chunk)
        # 异步处理文件
        process_file.delay(file_path)
    return render(request, 'upload.html')

def send_request(request):
    if request.method == 'POST':
        url = request.POST['url']
        # 异步发送网络请求
        request_api.delay(url)
    return render(request, 'request.html')

在上述示例中，upload_file视图函数保存上传的文件到磁盘，并通过调用process_file.delay()方法将任务提交给Celery进行异步处理。同样，send_request视图函数通过调用request_api.delay()方法将任务提交给Celery。这样，这些耗时的任务将在后台异步处理，从而提高了系统的响应速度。

最后，需要启动Celery的工作节点，让其监听并处理任务：

celery -A your_project_name worker --loglevel=info

其中，your_project_name

In „views.py“ können diese Aufgaben zur asynchronen Verarbeitung aufgerufen werden:

rrreee

Im obigen Beispiel speichert die Ansichtsfunktion „upload_file“ die hochgeladene Datei auf der Festplatte und verarbeitet sie durch Aufrufen von process_file.delay() Methode sendet Aufgaben zur asynchronen Verarbeitung an Celery. In ähnlicher Weise sendet die Ansichtsfunktion send_request die Aufgabe an Celery, indem sie die Methode request_api.delay() aufruft. Auf diese Weise werden diese zeitaufwändigen Aufgaben asynchron im Hintergrund abgearbeitet und so die Reaktionsfähigkeit des Systems verbessert.

Schließlich müssen Sie den Celery-Worker-Knoten starten und ihn Aufgaben abhören und verarbeiten lassen:

rrreee

Wobei sich your_project_name auf den Namen des Django-Projekts bezieht.

Durch die oben genannten Schritte können Sie Celery Redis Django verwenden, um den asynchronen Aufgabenverarbeitungsprozess zu optimieren. Mit dieser Methode können zeitaufwändige Aufgaben in die Nachrichtenwarteschlange gestellt werden und Celery ist für die Verarbeitung verantwortlich, wodurch die Parallelitätsleistung und die Reaktionsgeschwindigkeit des Systems verbessert werden.

1. Zusammenfassung:
2. Die Optimierung des asynchronen Aufgabenverarbeitungsprozesses ist ein wichtiges Mittel zur Verbesserung der Systemleistung und Reaktionsgeschwindigkeit. In diesem Artikel wird erläutert, wie Sie die Celery Redis Django-Kombination verwenden, um die asynchrone Aufgabenverarbeitung zu implementieren. Durch die Übermittlung zeitaufwändiger Aufgaben zur asynchronen Verarbeitung an Celery kann das Blockieren von Anforderungen vermieden und die Parallelitätsleistung und Antwortgeschwindigkeit des Systems verbessert werden.

Referenz: 🎜🎜🎜Sellerie-Dokumentation: https://docs.celeryproject.org/en/stable/🎜🎜Redis-Dokumentation: https://redis.io/documentation🎜🎜

Das obige ist der detaillierte Inhalt vonOptimieren Sie den asynchronen Aufgabenverarbeitungsprozess mit Celery Redis Django. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!