Python环境下安装使用异步任务队列包Celery的基础教程
1.简介
celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。
celery用于生产系统每天处理数以百万计的任务。
celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。
建议的消息代理RabbitMQ的，但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, ，和数据库（使用SQLAlchemy的或Django的 ORM） 。
celery是易于集成Django, Pylons and Flask，使用 django-celery, celery-pylons and Flask-Celery 附加包即可。
2. 安装
有了上面的概念，需要安装这么几个东西：RabbitMQ、SQLAlchemy、Celery
安装方式也都很简单： RabbitMQ:
mac下：
brew install rabbitmq
linux:
sudo apt-get install rabbitmq-server
剩下两个都是Python的东西了，直接pip安装就好了，对于从来没有安装过MySQL驱动的同学可能需要安装MySQL-python。
安装完成之后，启动服务:
$ rabbitmq-server[回车]
启动后不要关闭窗口, 下面操作新建窗口(Tab)
3. 简单案例
确保你之前的RabbitMQ已经启动。
还是官网的那个例子，在任意目录新建一个tasks.py的文件，内容如下：
from celery import Celery
app = Celery('tasks', broker='amqp://guest@localhost//')
@app.task
def add(x, y):
return x + y
在同级目录执行:
$ celery -A tasks worker --loglevel=info
该命令的意思是启动一个worker，把tasks中的任务（add(x,y)）把任务放到队列中。
保持窗口打开，新开一个窗口进入交互模式，python或者ipython:
>>> from tasks import add >>> add.delay(4, 4)
到此为止，你已经可以使用celery执行任务了，上面的python交互模式下简单的调用了add任务，并传递4，4参数。
但此时有一个问题，你突然想知道这个任务的执行结果和状态，到底完了没有。因此就需要设置backend了。
修改之前的tasks.py中的代码为：
# coding:utf-8
import subprocess
from time import sleep
from celery import Celery
backend = 'db+mysql://root:@192.168.0.102/celery'
broker = 'amqp://guest@192.168.0.102:5672'
app = Celery('tasks', backend=backend, broker=broker)
@app.task
def add(x, y):
sleep(10)
return x + y
@app.task
def hostname():
return subprocess.check_output(['hostname'])
除了添加backend之外，上面还添加了一个who的方法用来测试多服务器操作。修改完成之后，还是按照之前的方式启动。
同样进入python的交互模型:
>>> from tasks import add, hostname >>> r = add.delay(4, 4) >>> r.ready() # 10s内执行，会输出False，因为add中sleep了10s >>> >>> r = hostname.delay() >>> r.result # 输出你的hostname
4. 测试多服务器
做完上面的测试之后，产生了一个疑惑，Celery叫做分布式任务管理，那它的分布式体现在哪？它的任务都是怎么执行的？在哪个机器上执行的？
在当前服务器上的celery服务不关闭的情况下，按照同样的方式在另外一台服务器上安装Celery，并启动:
$ celery -A tasks worker --loglevel=info
发现前一个服务器的Celery服务中输出你刚启动的服务器的hostname，前提是那台服务器连上了你的rabbitmq。
然后再进入python交互模式:
>>> from tasks import hostname >>> >>> for i in range(10): ... r = hostname.delay() ... print r.result # 输出你的hostname >>>
看你输入的内容已经观察两台服务器上你启动celery服务的输出。
5. RabbitMQ远程连接的问题
一开始测试时远程服务器无法连接本地的RabbitMQ服务，后来发现需要设置权限，在/usr/local/etc/rabbitmq/rabbitmq-env.conf这个文件中，修改NODE_IP_ADDRESS=127.0.0.1中的ip为0.0.0.0。
6. 总结的说
这篇文章简单的介绍了Celery的使用，重点还是在分布式的使用。觉得不太爽的地方是，在扩展时，需要重新把代码（tasks.py）部署一遍，而不是可以直接把tasks进行共享，可能Celery是通过task来进行不同的worker的匹配的？目前还不太了解，等深入使用之后再说。
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
PHP和Python：解釋了不同的範例
Apr 18, 2025 am 12:26 AM
PHP主要是過程式編程，但也支持面向對象編程（OOP）；Python支持多種範式，包括OOP、函數式和過程式編程。 PHP適合web開發，Python適用於多種應用，如數據分析和機器學習。
在PHP和Python之間進行選擇：指南
Apr 18, 2025 am 12:24 AM
PHP適合網頁開發和快速原型開發，Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發，語法簡單，適合快速開發。 2.Python語法簡潔，適用於多領域，庫生態系統強大。
sublime怎麼運行代碼python
Apr 16, 2025 am 08:48 AM
在 Sublime Text 中運行 Python 代碼，需先安裝 Python 插件，再創建 .py 文件並編寫代碼，最後按 Ctrl B 運行代碼，輸出會在控制台中顯示。
PHP和Python：深入了解他們的歷史
Apr 18, 2025 am 12:25 AM
PHP起源於1994年，由RasmusLerdorf開發，最初用於跟踪網站訪問者，逐漸演變為服務器端腳本語言，廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發，1991年首次發布，強調代碼可讀性和簡潔性，適用於科學計算、數據分析等領域。
Python vs. JavaScript：學習曲線和易用性
Apr 16, 2025 am 12:12 AM
Python更適合初學者，學習曲線平緩，語法簡潔；JavaScript適合前端開發，學習曲線較陡，語法靈活。 1.Python語法直觀，適用於數據科學和後端開發。 2.JavaScript靈活，廣泛用於前端和服務器端編程。
Golang vs. Python：性能和可伸縮性
Apr 19, 2025 am 12:18 AM
Golang在性能和可擴展性方面優於Python。 1)Golang的編譯型特性和高效並發模型使其在高並發場景下表現出色。 2)Python作為解釋型語言，執行速度較慢，但通過工具如Cython可優化性能。
vscode在哪寫代碼
Apr 15, 2025 pm 09:54 PM
在 Visual Studio Code（VSCode）中編寫代碼簡單易行，只需安裝 VSCode、創建項目、選擇語言、創建文件、編寫代碼、保存並運行即可。 VSCode 的優點包括跨平台、免費開源、強大功能、擴展豐富，以及輕量快速。
notepad 怎麼運行python
Apr 16, 2025 pm 07:33 PM
在 Notepad 中運行 Python 代碼需要安裝 Python 可執行文件和 NppExec 插件。安裝 Python 並為其添加 PATH 後，在 NppExec 插件中配置命令為“python”、參數為“{CURRENT_DIRECTORY}{FILE_NAME}”，即可在 Notepad 中通過快捷鍵“F6”運行 Python 代碼。
