celery异步分布式框架使用一

一、celery简介

      1、Celery 分布式任务队列

      2、Celery 是一款非常简单、灵活、可靠的分布式系统，可用于处理大量消息，并且提供了一整套操作此系统的一系列工具。

      3、Celery 是一款消息队列工具，可用于处理实时数据以及任务调度。

      4、Celery 通过消息机制进行通信，通常使用中间人（Broker）作为客户端和职程（Worker）调节。启动一个任务，

客户端向消息队列发送一条消息，然后中间人（Broker）将消息传递给一个职程（Worker），最后由职程（Worker）进行执行中间人（Broker）分配的任务。

      5、Celery 可以有多个职程（Worker）和中间人（Broker），用来提高Celery的高可用性以及横向扩展能力。

二、版本需求（这个是要注意一下）

　　1、Python版本：Python 3.6.8

　　2、celery版本：5.1.2

　　一开始我是用的是Python3.7，然后发现各种坑，经多方查证发现是Python版本高了

三、简单使用

　　**我们最终肯定是想将celery使用与项目中，所以我们直接略过最简单的使用

　　**目前celery使用的是redis，所以redis的安装可以参考其他，例如菜鸟教程。建议使用docker容器启动，简单方便

　　1、关于celery的文件布局：

　　

　　　　celery_demo：可以理解为项目文件夹，

　　　　　　--proj：celery的文件夹，相关的配置文件，定义celery，包括任务，主要就是这些了

　　　　　　　　--celeryconfig.py：celery的配置文件

　　　　　　　　--celery：celery启动代码

　　　　　　　　--tasks.py：存放任务，没有特殊要求，可以就采用该文件名

　　　　　　--zhixing.py：调用celery的任务

　　2、关于celeryconfig.py配置文件简单讲解：

# coding=utf-8

broker_url  = 'redis://127.0.0.1:6379/0' # redis 存储发送端来的任务队列
result_backed = 'redis://127.0.0.1:6379/1' # 用redis存储执行端执行得到结果

　　3、celery文件代码简单讲解

# coding=utf-8

from . import celeryconfig # 注意导包方式，celery对于这个比较敏感
from celery import Celery

app = Celery(
    "proj",
    include=['proj.tasks'] # 此处是tasks任务
)

app.config_from_object(celeryconfig) # 使用配置文件

if __name__ == "__main__":
    app.start()

　　4、tasks.py任务文件：

# coding=utf-8

import time

from .celery import app

@app.task
def add(x=3, y=4):
    return x + y

@app.task
def mul(x, y):
    return x * y

　　5、zhixing.py文件：

# coding=utf-8

import time

from proj.tasks import add

def start():
    res = add.delay(4,4)
    print(res)


if __name__ == "__main__":
    start()

　　6、演示：

　　①、启动celery：celery -A proj worker -l info

       

 

　　②、执行调用代码

　　

       

目前最基本简单的使用演示结束。更多可以参考相关文档。