Celery
Celery 简介
Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery看起来似乎很庞大，先对其进行简单的了解，然后再去学习其他一些高级特性。 celery适用异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作，我们可将其异步执行，这样用户不需要等待很久，提高用户体验。
celery的特点是：
- 简单，易于使用和维护，有丰富的文档。
- 高效，单个celery进程每分钟可以处理数百万个任务。
- 灵活，celery中几乎每个部分都可以自定义扩展。
任务队列是一种跨线程、跨机器工作的一种机制.
任务队列中包含称作任务的工作单元。有专门的工作进程持续不断的监视任务队列，并从中获得新的任务并处理.
celery通过消息进行通信，通常使用一个叫Broker(中间人)来协client(任务的发出者)和worker(任务的处理者). clients发出消息到队列中，broker将队列中的信息派发给worker来处理。
一个celery系统可以包含很多的worker和broker，可增强横向扩展性和高可用性能。
官方文档
https://docs.celeryq.dev/en/stable/
celery 架构
celery架构分成三部分
- 消息中间件(broker)
Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括， Redis等等 - 任务执行单元(workers)
Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中(本质，一个work就是一个进程)。 - 任务结果存储（backend）
Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括 redis等
安装celery
pip install -U celery
也可以通过github上安装
使用
使用celery第一件事要做的最为重要的是就是要先创建一个Celery实例，我们一般叫做celery应用。或者更简单直接叫做app，app应用是我们使用celery功能的入口，比如创建任务，管理任务， 在使用celery的时候， app必须能够被其他模块接入
一般celery的根目录如下
Celery_tasks/
├── config.py # 配置项
├── __init__.py
├── main.py # 主程序
└── sms # 一个目录下可以放置多个任务，该目录下存放当前任务需要的模块和依赖
├── __init__.py
└── tasks.py # 任务的文件 文件名必须是这个
1 directory, 5 files
首先 main.py
from celery import Celery
# 创建celery对象
app = Celery()
# 加载配置
app.config_from_object("Celery_tasks.config")
# 注册任务
app.autodiscover_tasks(['Celery_tasks.sms'])
# app.autodiscover_tasks(['Celery_tasks.sms','Celery_tasks_mail'])
# 通过终端 启动celery
# celery -A Celery_tasks.main worker --loglevel=info
config.py
# 设置任务队列的地址
broker_url = 'redis://127.0.0.1:6379/14' # 消息中间件
# 设置消息队列的地质
result_backend = 'redis://127.0.0.1:6379/15' # 结果存储
sms/tasks.py
from Celery_tasks.main import app
@app.task(name="send_sms")
def send_message():
"""发送短信"""
return "hello,world"
启动celery
celery -A Celery_tasks.main worker --loglevel=info
启动成功
上述的
[tasks]
. send_sms 是指 sms文件下的tasks 指定的 @app.task(name="send_sms")
多个tasks
可以在 send_mail中再加个task，只需要加入如下代码
mail/tasks.py
from Celery_tasks.main import app
@app.task(name="send_main")
def send_mail():
"""发送邮件"""
return "hello,mail!!!!"
同时main.py中也要完成对tasks的注册
app.autodiscover_tasks(['Celery_tasks.sms','Celery_tasks_mail'])
调用celery
from Celery_tasks.sms.tasks import send_sms
send_sms.delay()
调用成功
redis数据库中
如果当你关闭celery
当你重新开启celery时
任务将不断轮询 从而执行一系列操作
Django Celery流程图
