python分布式任务队列celery调研与实践
celery是一个python编写的分布式任务队列，支持实时调度和定时调度。
celery 架构
优势
对比crontab，celery的优势如下：
| 平台 | 可配置 | 分布式 | 可监控 | 可指定任务执行 |
|---|---|---|---|---|
| celery | 灵活 | 是 | 是 | 是 |
| crontab | 不灵活，需要登陆机器 | 单机 | 否 | 否 |
实现
初始化环境
virtualenv env
source env/bin/activate
pip install -r requirements.txt
其中，依赖如下：
Django1.8.2
celery3.1.18
celery-with-redis3.0
django-celery3.1.16
flower0.9.5
pymysql0.10.1
同步数据库
python manage.py syncdb
然后创建superuser
python manage.py createsuperuser
启动server
python manage.py runserver 0.0.0.0:8008
启动多个worker（消费）
python manage.py celery worker -l info -n worker1
python manage.py celery worker -l info -n worker2
启动beat(生产者)
python manage.py celery beat -l info
启动监控:
flower -A mysite 5555
一些有用的技巧
任务继承
可以创建一个任务的基类，实现类似于错误处理等通用方法。
class MyTask(celery.Task):
def on_failure(self, exc, task_id, args, kwargs, einfo):
print('{0!r} failed: {1!r}'.format(task_id, exc))
# 发邮件/企微给负责人
@task(base=MyTask)
def add(x, y):
raise KeyError()
监控平台flower
pip install flower
flower -A mysite 5555
文档：https://flower-docs-cn.readthedocs.io/zh/latest/
关键API:
POST /api/task/send-task/(.+)
通过名称来执行task
Example request:
POST /api/task/send-task/tasks.add HTTP/1.1
Accept: application/json
Accept-Encoding: gzip, deflate, compress
Content-Length: 16
Content-Type: application/json; charset=utf-8
Host: localhost:5555
{
"args": [1, 2]
}
Example response:
HTTP/1.1 200 OK
Content-Length: 71
Content-Type: application/json; charset=UTF-8
{
"state": "SUCCESS",
"task-id": "c60be250-fe52-48df-befb-ac66174076e6"
}
效果
消费者实例：
任务执行历史：
监控效果，可以看到成功数，失败数，执行时长和堆积的任务数：
