使用celery 完成短信发送

介绍:

任务队列是一种跨线程、跨机器工作的一种机制.

  任务队列中包含称作任务的工作单元。有专门的工作进程持续不断的监视任务队列,并从中获得新的任务并处理.

  celery通过消息进行通信,通常使用一个叫Broker(中间人)来协client(任务的发出者)和worker(任务的处理者). clients发出消息到队列中,broker将队列中的信息派发给worker来处理。

  一个celery系统可以包含很多的worker和broker,可增强横向扩展性和高可用性能。

   

 

  • worker: worker 是一个独立的进程,任务执行单元,它持续监视队列中是否有需要处理的任务;

  • broker: broker 消息传输中间件,任务调度队列,接收生产者发出的消息,将任务存入队列,broker 负责协调客户端和 worker 的沟通。客户端向队列添加消息,broker 负责把消息派发给 worker。

  • 任务结果 backend:backend 存储任务执行结果,同消息中间件一样,需要由其他存储系统提供支持

 

使用场景

Celery是一个使用Python开发的分布式任务调度模块,因此对于大量使用Python构建的系统,可以说是无缝衔接,使用起来很方便。Celery专注于实时处理任务,同时也支持任务的定时调度。因此适合实时异步任务定时任务等调度场景。

 

安装celery

pip install celery

 

项目根目录下下创建celery_tasks用于保存celery异步任务。**

在celery_tasks目录下创建config.py文件,用于保存celery的配置信息


broker_url = "redis://127.0.0.1/15"

 

在celery_tasks目录下创建main.py文件,用于作为celery的启动文件

from celery import Celery

# 为celery使用django配置文件进行设置
import os
if not os.getenv('DJANGO_SETTINGS_MODULE'):
   os.environ['DJANGO_SETTINGS_MODULE'] = 'my_projects.settings'

# 创建celery应用/实例
app = Celery('send_sms')

# 导入celery配置
app.config_from_object('celery_tasks.config')

# 自动注册celery任务
app.autodiscover_tasks(['celery_tasks.sms'])

 

在celery_tasks目录下创建sms目录,用于放置发送短信的异步任务相关代码。

在celery_tasks/sms/目录下创建tasks.py文件,用于保存发送短信的异步任务

现在我们在创建一个worker, 等待处理队列中的任务.打开终端,cd到celery_tasks同级目录中,执行命令:


celery -A celery_tasks.main worker -l info

-A 选项指定 celery 实例 app 的位置
-l 选项指定日志级别, -l 是 --loglevel 的缩略形式