Celery初识及简单实例
Celery是一个“自带电池”的任务队列。易于使用，可以轻易入门，它遵照最佳实践设计，使产品可以扩展，或与其他语言集成，并且它自带了在生产环境中运行这样一个系统所需的工具和支持。本文介绍基础部分：
- 选择和安装消息传输方式（中间人）。
- 安装Celery并创建一个任务
- 运行职程并调用任务
- 追踪任务在不同状态间的迁移，并检视返回值
一、选择中间人
Celery需要一个发送和接收消息的解决方案，其通常以独立服务形式出现，称为消息中间人。
可行的选择包括：
RabbitMQ
RabbitMQ功能完备、稳定、耐用，并且安装简便，是生产环境的绝佳选择。
Redis
Redis也是功能完备的，但更容易受濡染终端或断电地阿莱数据丢失的影响。
使用数据库
不推荐把数据库用于消息队列，但对于很小的项目可能是合适的。
其他中间人
还有其他实验性传输实现：AmazonSQS、MongoDB和IronMQ。
二、安装Celery
Celery提交到Python Package Index上，可以使用Python标准工具pip进行安装：
$ pip install celery
三、应用
首先需要一个Celery实例：这个实例用于你想在celery中做一切事，它必须可以被其他模块导入。
我们简单的放在一个模块中，对于比较大的项目，可以创建一个独立模块。
创建tasks.py:
from celery import Celery
app = Celery('tasks', broker='redis://127.0.0.1:6379/3')
@app.task
def add(x, y):
return x + y
创建APP的时候，Celery方法的第一个参数是我们当前py文件的名字。broker是我们选择的中间人。上面的代码使用的是redis。
接下来我们可以先运行我们的工作任务。
$ celery -A tasks worker --loglevel=info
使用celery命令，第二个参数'tasks'还是我们的py文件名字，后面是指定日志级别。这条命令必须能找到我们的tasks文件才能运行起来。
接下来调用我们的任务：
>>> from tasks import add >>> add.delay(1, 3) <AsyncResult: 7217dee2-3869-4f5e-8ccc-3a3b3dd6a9d7> # 这里返回的是任务ID，而不是结果。
这样我们就实现了一个最简单的celery应用。
其他更多的参数命令，你可以通过下面的方式了解：
$ celery worker --help $ celery help
关于调用我们的任务方式：
- delay()
- apply_async()
# delay()这个方法使用起来更方便一些，它能像调用普通函数一样调用我们的任务
task.delay(arg1, arg2, kwarg1='x', kwarg2='y')
# 使用apply_async你还需要将参数进行整合
task.apply_async(args=[arg1, arg2], kwargs={'kwarg1': 'x', 'kwarg2': 'y'})
接下来说一下，在我们的应用中如何使用celery
项目布局：
proj/__init__.py
/celery.py
/tasks.py
项目中的celery.py
celery.py
from __future__ import absolute_import
from celery import Celery
app = Celery('mysite', # 项目名称
broker='redis://127.0.0.1:6379/3', # 制定我们用的中间人
backend='redis://127.0.0.1:6379/5', # 定义回调中间人
include=['proj.tasks'],)
app.conf.update(
result_expires=3600 # 设置过期时间
)
if __name__ == '__main__':
app.start()
task.py
from __future__ import absolute_import
from .celery import app
import time
@app.task(bind=True) # 指定bind=True,当前task函数第一个参数为task本身。
def add(self, x, y):
time.sleep(1)
self.update_state(state="PROGRESS", meta={'progress': 50})
# task使用update_state修改当前状态可以触发on_message回调函数
time.sleep(3)
self.update_state(state="PROGRESS", meta={'progress': 90})
time.sleep(1)
print(self.request.chain)
print(123456)
self.request.chain = None # 当使用chain同时调用多个task函数的时候，如果中间需要停止，可以使用self.request.chain = None
self.update_state(state="PROGRESS", meta={'result': x + y})
return x + y
@app.task(bind=True)
def mul(self, x, y):
return x * y
@app.task
def div(x, y):
return x / y
mysite/views.py
from celery import chain
from django.shortcuts import render, HttpResponse
from celery_work.tasks import add
from celery_work.tasks import mul
from celery_work.tasks import div
from celery_work.tasks import error_handler
# from celery_work.tasks import error_handler
def test(request):
def on_raw_message(body):
print(body)
res = add.apply_async((1, 2))
print(res.get(on_message=on_raw_message, propagate=False))
# 注意这里使用了res.get(),所以并不是异步返回的，而是等拿到结果之后返回的
return HttpResponse('ok')
# 异步方式处理函数，在add这个task函数中是有睡眠时间的，但是我们在发布任务之后就立即将任务ID返回给客户端了
def test0(request):
res = add.apply_async((1, 2))
return HttpResponse('async: %s' % res)
# 没有中断的chain任务
def test1(request):
res = (mul.s(1, 2) | mul.s(3) | mul.s(3))()
# 另一种写法 chain(mul.s(1, 2), mul.s(3), mul.s(3))()
return HttpResponse(res.get())
# 有中断的chain任务，这里需要注意一下，我们在add这个函数中将chain终止了，res永远无法get到返回值
# 因为res是要取chain任务最后一个task函数的返回值，这样就要使用parent从最后一个task函数往前找，
# 直到找到终止chain任务的那个task函数，进行get
def test2(request):
res = (add.s(1, 2) | mul.s(3) | mul.s(3))()
print(res.parent.parent.get())
print(res.parent.parent.successful())
return HttpResponse('mul')
