Apprenez Python Celery et effectuez facilement des tâches asynchrones

Bien que les applications Web modernes soient plus rapides et plus pratiques que jamais, il existe encore de nombreuses situations dans lesquelles des tâches lourdes doivent être déléguées à d'autres parties du système au lieu de travailler sur le thread principal.

Des exemples de ces situations sont les suivants :

• Tâches périodiques : tâches planifiées pour s'exécuter à des intervalles spécifiques. Par exemple, génération de rapports quotidiens et mensuels.
• Outils tiers : les applications doivent renvoyer rapidement des réponses à l'utilisateur, plutôt que d'attendre que d'autres tâches soient terminées en premier. Par exemple, envoyez des e-mails, des notifications, communiquez la progression des mises à jour aux outils internes.
• Tâches de longue durée : tâches complexes ou gourmandes en ressources et l'utilisateur doit attendre que la tâche soit terminée. Par exemple. Workflows DAG, tâches basées sur Map-Reduce, tâches Spark de longue durée, etc.

Alors, comment gérer ces situations ? À cette époque, le céleri est utile.

Qu’est-ce que le céleri ?

Celery est une implémentation de file d'attente de tâches open source, souvent combinée avec des frameworks Web basés sur Python tels que Flask et Django, pour exécuter des tâches de manière asynchrone en dehors du cycle requête-réponse typique.

Donc, Celery est essentiellement une file d'attente de tâches basée sur une messagerie distribuée. Les unités d'exécution ou tâches sont exécutées simultanément sur un ou plusieurs travailleurs à l'aide du multitraitement, du gevent ou des eventlets. Ces tâches peuvent être exécutées de manière synchrone (c'est-à-dire en attendant d'être prêtes) ou de manière asynchrone (c'est-à-dire en arrière-plan).

Comment agit le Céleri ?

Celery est une file d'attente de tâches distribuée basée sur le modèle producteur-consommateur.

Task Queue est un mécanisme de répartition du travail entre les threads et les machines, essentiellement un intermédiaire de messages entre les producteurs (applications Web) et les consommateurs (travailleurs de Celery).

Le céleri interagit par le biais de messages, les courtiers agissant comme intermédiaires entre les clients (producteurs) et les travailleurs (consommateurs). Pour démarrer une tâche, le client envoie un message dans la file d'attente et le courtier transmet le message au travailleur.

Le système Celery peut être composé de plusieurs travailleurs et courtiers, ce qui offre la possibilité d'une haute disponibilité et d'une expansion horizontale.

En bref, le client Celery est le producteur, qui ajoute de nouvelles tâches à la file d'attente via le courtier de messages. Ensuite, les travailleurs de Celery obtiennent également de nouvelles tâches de la file d'attente via le courtier de messages. Une fois traités, les résultats sont stockés dans le backend des résultats.

Exemple de travail

L'exemple ci-dessous utilisera RedisMQ comme courtier de messages.

Configurez Redis

Sur un système Linux/macOS, exécutez le serveur Redis localement en exécutant la commande suivante :

$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ rm redis-stable.tar.gz
$ cd redis-stable
$ make

Après avoir configuré Redis, exécutez le serveur Redis en exécutant la commande suivante :

$ redis-server

Le serveur s'exécute sur le port par défaut 6379.

Configurer l'application

Tout d'abord, configurez le projet Python localement.

Celery peut être installé via des outils standards tels que pip ou easy_install. Installez Celery et Redis via la commande suivante :

pip install celery redis==4.3.4

Vous avez maintenant besoin d'une instance de Celery pour exécuter l'application. Celery démarre avec une instance pour implémenter n'importe quelle tâche, telle que la création et la gestion de tâches.

Créez un fichier tâches.py dans le projet :

From celery import Celery

broker_url = 'redi://localhost:6379/0'

app = Celery('tasks',broker = broker_url)

@app.task
def add(x, y):
return x+y

Une simple tâche add() est définie ici, renvoyant la somme de deux nombres.

Exécutez Celery Worker

Sur le terminal, basculez vers l'emplacement du projet et exécutez le travailleur Celery avec la commande suivante :

$ celery -A tasks worker - loglevel=info

Pour plus d'informations sur la ligne de commande du travailleur Celery, vous pouvez utiliser l'aide :

$ celery worker - help

Invoquer la tâche

Dans Celery, utilisez la méthode delay() pour appeler la tâche.

Ouvrez une autre fenêtre de terminal pour votre projet et exécutez la commande suivante :

$ python

Cela ouvrira la ligne de commande Python.

>> from tasks import add
>> add.delay(1,2)

Cela renverra une instance AsyncResult, qui peut être utilisée pour vérifier l'état de la tâche, obtenir sa valeur de retour, attendre la fin de la tâche et également obtenir des exceptions et des traçages en cas d'échec.

Après avoir exécuté la commande add.delay(), la tâche sera placée dans la file d'attente puis acquise par le travailleur. Cela peut être vérifié sur le terminal du travailleur Celery, où vous pouvez voir clairement la tâche reçue puis terminée avec succès.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!