python-celery专注于实现分布式异步任务处理、任务调度的插件!
celery是一个基于分布式消息传输的异步任务队列,它专注于实时处理,同时也支持任务调度。它的执行单元为任务(task),利用多线程,如Eventlet,gevent等,它们能被并发地执行在单个或多个职程服务器(worker servers)上。任务能异步执行(后台运行)或同步执行(等待任务成)。
Celery的三个主要模块
'''
worker:用于执行队列中的工作任务
beat:用于定时分配工作任务
task:工作任务,可以是在代码里的调用、也可以是被beat分配定时任务
'''
Celery的使用条件
'''
1、安装消息中间件的支持,一般是redis。
pip install redis
2、安装Celery的支持
pip install celery
3、安装本地redis服务端并启动
'''
做一个Celery定时任务
'''
导入相关依赖包
'''
import celery # celery 定时任务包
import time # 时间记录
from datetime import timedelta # 时间处理
'''
创建一个worker用来执行定时任务
'''
# 创建worker、连接到redis消息中间件
worker = celery.Celery("work_test", backend="redis://localhost:6379/", broker="redis://localhost:6379/")
# 创建任务配置类TaskConfig
class TaskConfig:
beat_suhedule = {
'update_info': {
'task': 'test013.test3.test_task', # 任务所在的模块.函数
"schedule": timedelta(seconds=5), # 定时任务间隔时间
}
}
# worker配置生效
worker.config_from_object(TaskConfig)
@worker.task
def test_task():
'''
任务
:return:
'''
return "当前任务执行状态:success,{}".format(time.time())
'''
启动 beat 分配定时任务
celery -A test3.worker beat
'''
# C:\work-code\base-python3\test013>celery -A test3.worker beat
'''
启动 beat 分配定时任务
celery -A test3.worker worker
'''
# C:\work-code\base-python3\test013>celery -A test3.worker worker
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· 程序员常用高效实用工具推荐,办公效率提升利器!
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)