Python环境下安装使用异步任务队列包Celery的基础教程-Python教程-PHP中文网

首页

后端开发

Python教程

Python环境下安装使用异步任务队列包Celery的基础教程

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 10, 2016 pm 03:04 PM

celery python 异步队列

1.简介

celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。
celery用于生产系统每天处理数以百万计的任务。
celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。
建议的消息代理RabbitMQ的，但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, ，和数据库（使用SQLAlchemy的或Django的 ORM）。
celery是易于集成Django, Pylons and Flask，使用 django-celery, celery-pylons and Flask-Celery 附加包即可。

2. 安装
有了上面的概念，需要安装这么几个东西：RabbitMQ、SQLAlchemy、Celery
安装方式也都很简单： RabbitMQ:
mac下：

brew install rabbitmq

登录后复制

linux:

sudo apt-get install rabbitmq-server

登录后复制

剩下两个都是Python的东西了，直接pip安装就好了，对于从来没有安装过MySQL驱动的同学可能需要安装MySQL-python。
安装完成之后，启动服务:

$ rabbitmq-server[回车]

登录后复制

启动后不要关闭窗口, 下面操作新建窗口(Tab)

3. 简单案例
确保你之前的RabbitMQ已经启动。
还是官网的那个例子，在任意目录新建一个tasks.py的文件，内容如下：

from celery import Celery

app = Celery('tasks', broker='amqp://guest@localhost//')

@app.task
def add(x, y):
  return x + y

登录后复制

在同级目录执行:

$ celery -A tasks worker --loglevel=info

登录后复制

该命令的意思是启动一个worker，把tasks中的任务（add(x,y)）把任务放到队列中。
保持窗口打开，新开一个窗口进入交互模式，python或者ipython:

>>> from tasks import add
>>> add.delay(4, 4)

登录后复制

到此为止，你已经可以使用celery执行任务了，上面的python交互模式下简单的调用了add任务，并传递4，4参数。
但此时有一个问题，你突然想知道这个任务的执行结果和状态，到底完了没有。因此就需要设置backend了。
修改之前的tasks.py中的代码为：

# coding:utf-8
import subprocess
from time import sleep

from celery import Celery

backend = 'db+mysql://root:@192.168.0.102/celery'
broker = 'amqp://guest@192.168.0.102:5672'

app = Celery('tasks', backend=backend, broker=broker)


@app.task
def add(x, y):
  sleep(10)
  return x + y


@app.task
def hostname():
  return subprocess.check_output(['hostname'])

登录后复制

除了添加backend之外，上面还添加了一个who的方法用来测试多服务器操作。修改完成之后，还是按照之前的方式启动。
同样进入python的交互模型:

>>> from tasks import add, hostname
>>> r = add.delay(4, 4)
>>> r.ready() # 10s内执行，会输出False，因为add中sleep了10s
>>>
>>> r = hostname.delay()
>>> r.result # 输出你的hostname

登录后复制

4. 测试多服务器
做完上面的测试之后，产生了一个疑惑，Celery叫做分布式任务管理，那它的分布式体现在哪？它的任务都是怎么执行的？在哪个机器上执行的？
在当前服务器上的celery服务不关闭的情况下，按照同样的方式在另外一台服务器上安装Celery，并启动:

$ celery -A tasks worker --loglevel=info

登录后复制

发现前一个服务器的Celery服务中输出你刚启动的服务器的hostname，前提是那台服务器连上了你的rabbitmq。
然后再进入python交互模式:

>>> from tasks import hostname
>>>
>>> for i in range(10):
...   r = hostname.delay()
...   print r.result # 输出你的hostname
>>>

登录后复制

看你输入的内容已经观察两台服务器上你启动celery服务的输出。

5. RabbitMQ远程连接的问题
一开始测试时远程服务器无法连接本地的RabbitMQ服务，后来发现需要设置权限，在/usr/local/etc/rabbitmq/rabbitmq-env.conf这个文件中，修改NODE_IP_ADDRESS=127.0.0.1中的ip为0.0.0.0。

6. 总结的说
这篇文章简单的介绍了Celery的使用，重点还是在分布式的使用。觉得不太爽的地方是，在扩展时，需要重新把代码（tasks.py）部署一遍，而不是可以直接把tasks进行共享，可能Celery是通过task来进行不同的worker的匹配的？目前还不太了解，等深入使用之后再说。

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

Undresser.AI Undress

人工智能驱动的应用程序，用于创建逼真的裸体照片

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

免费脱衣服图片

Clothoff.io

AI脱衣机

AI Hentai Generator

免费生成ai无尽的。

显示更多

热工具

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

中文版，非常好用

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

显示更多

热门话题

gmail邮箱登陆入口在哪里

7532

CakePHP 教程

1379

steam的账户名称是什么格式

win11激活密钥永久

NYT连接提示和答案

显示更多

Related knowledge

PHP和Python：代码示例和比较 Apr 15, 2025 am 12:07 AM

PHP和Python各有优劣，选择取决于项目需求和个人偏好。1.PHP适合快速开发和维护大型Web应用。2.Python在数据科学和机器学习领域占据主导地位。

CentOS上如何进行PyTorch模型训练 Apr 14, 2025 pm 03:03 PM

在CentOS系统上高效训练PyTorch模型，需要分步骤进行，本文将提供详细指南。一、环境准备：Python及依赖项安装:CentOS系统通常预装Python，但版本可能较旧。建议使用yum或dnf安装Python3并升级pip：sudoyumupdatepython3(或sudodnfupdatepython3)，pip3install--upgradepip。CUDA与cuDNN(GPU加速):如果使用NVIDIAGPU，需安装CUDATool

Python vs. JavaScript：社区，图书馆和资源 Apr 15, 2025 am 12:16 AM

Python和JavaScript在社区、库和资源方面的对比各有优劣。1)Python社区友好，适合初学者，但前端开发资源不如JavaScript丰富。2)Python在数据科学和机器学习库方面强大，JavaScript则在前端开发库和框架上更胜一筹。3)两者的学习资源都丰富，但Python适合从官方文档开始，JavaScript则以MDNWebDocs为佳。选择应基于项目需求和个人兴趣。

CentOS上PyTorch的GPU支持情况如何 Apr 14, 2025 pm 06:48 PM

在CentOS系统上启用PyTorchGPU加速，需要安装CUDA、cuDNN以及PyTorch的GPU版本。以下步骤将引导您完成这一过程：CUDA和cuDNN安装确定CUDA版本兼容性:使用nvidia-smi命令查看您的NVIDIA显卡支持的CUDA版本。例如，您的MX450显卡可能支持CUDA11.1或更高版本。下载并安装CUDAToolkit:访问NVIDIACUDAToolkit官网，根据您显卡支持的最高CUDA版本下载并安装相应的版本。安装cuDNN库:前

docker原理详解 Apr 14, 2025 pm 11:57 PM

Docker利用Linux内核特性，提供高效、隔离的应用运行环境。其工作原理如下：1. 镜像作为只读模板，包含运行应用所需的一切；2. 联合文件系统（UnionFS）层叠多个文件系统，只存储差异部分，节省空间并加快速度；3. 守护进程管理镜像和容器，客户端用于交互；4. Namespaces和cgroups实现容器隔离和资源限制；5. 多种网络模式支持容器互联。理解这些核心概念，才能更好地利用Docker。

CentOS下PyTorch版本怎么选 Apr 14, 2025 pm 02:51 PM

在CentOS下选择PyTorch版本时，需要考虑以下几个关键因素：1.CUDA版本兼容性GPU支持：如果你有NVIDIAGPU并且希望利用GPU加速，需要选择支持相应CUDA版本的PyTorch。可以通过运行nvidia-smi命令查看你的显卡支持的CUDA版本。CPU版本：如果没有GPU或不想使用GPU，可以选择CPU版本的PyTorch。2.Python版本PyTorch

centos如何安装nginx Apr 14, 2025 pm 08:06 PM

CentOS 安装 Nginx 需要遵循以下步骤：安装依赖包，如开发工具、pcre-devel 和 openssl-devel。下载 Nginx 源码包，解压后编译安装，并指定安装路径为 /usr/local/nginx。创建 Nginx 用户和用户组，并设置权限。修改配置文件 nginx.conf，配置监听端口和域名/IP 地址。启动 Nginx 服务。需要注意常见的错误，如依赖问题、端口冲突和配置文件错误。性能优化需要根据具体情况调整，如开启缓存和调整 worker 进程数量。

minio安装centos兼容性 Apr 14, 2025 pm 05:45 PM

MinIO对象存储：CentOS系统下的高性能部署MinIO是一款基于Go语言开发的高性能、分布式对象存储系统，与AmazonS3兼容。它支持多种客户端语言，包括Java、Python、JavaScript和Go。本文将简要介绍MinIO在CentOS系统上的安装和兼容性。CentOS版本兼容性MinIO已在多个CentOS版本上得到验证，包括但不限于：CentOS7.9:提供完整的安装指南，涵盖集群配置、环境准备、配置文件设置、磁盘分区以及MinI

See all articles

Python环境下安装使用异步任务队列包Celery的基础教程

热AI工具

Undresser.AI Undress

AI Clothes Remover

Undress AI Tool

Clothoff.io

AI Hentai Generator

热门文章

热工具

记事本++7.3.1

SublimeText3汉化版

禅工作室 13.0.1

Dreamweaver CS6

SublimeText3 Mac版

热门话题