Celery

一、什么是celery

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度

Celery架构

Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。

消息中间件

Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等

任务执行单元

Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中

任务结果存储

Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, redis等

二、使用场景

异步任务：将耗时操作任务提交给Celery去异步执行，比如发送短信/邮件、消息推送、音视频处理等等

定时任务：定时执行某件事情，比如每天数据统计

三、Celery的安装配置

下载命令：pip install celery

消息中间件：RabbitMQ/Redis

使用方法：app=Celery('任务名'，backend='xxx',broker='xxx')   broker指消息中间件，backend指存储结果的地方

四、Celery执行异步任务

包架构封装

project
    ├── celery_task      # celery包
    │   ├── __init__.py # 包文件
    │   ├── celery.py   # celery连接和配置相关文件，且名字必须交celery.py
    │   └── tasks.py    # 所有任务函数
    ├── add_task.py      # 添加任务
    └── get_result.py   # 获取结果

celery使用流程

1）创建app + 任务函数

2）启动celery(app)服务
# 非windows
命令：celery worker -A celery_task -l info
# windows：
pip3 install eventlet   #安装eventlet
命令：celery worker -A celery_task -l info -P eventlet

3）添加任务：手动添加，要自定义添加任务的脚本，右键执行脚本

4）获取结果：手动获取，要自定义获取任务的脚本，右键执行脚本

1.创建任务函数  tasks.py

from celery import Celery
#broker是消息中间件的地址，backend是存储结果的地址
app=Celery('demo',broker='redis://127.0.0.1:6379/1',backend='redis://127.0.0.1:6379/2')

#创建任务函数
@app.task
def my_task(x,y):
    return x+y

2.添加任务文件到队列  add_task.py 

from tasks import my_task
result=my_task.delay(4,5)      #使用delay将任务函数加到队列中
print(result)

3.创建worker,处理队列中的任务

#有两种方式
1.创建run.py,执行任务tasks
2.或者直接在Terminal执行命令：celery worker -A  tasks -l info

注意：在windows环境下执行命令:celery worker -A tasks -l info -P eventlet          #eventlet需要pip install eventlet下载

run.py

from tasks import app
if __name__=='__main__':
    app.worker_main()

4.执行顺序

1.创建好任务函数文件tasks.py
2.执行add_task.py文件，添加任务到队列，并获取任务ID
3.执行run.py，或者执行命令行：celery worker -A tasks -l info -P eventlet

在redis的db2数据库中可以看到结果

 

如果你一直在往该队列中添加任务，这个worker可以一直使用