celery broker 选择标准

celery是什么?
​ Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度

celery的使用场景?
有延时需要网络IO的,并且不关心返回结果的数据。例如:你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的程序等着结果返回,而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果, 在任务执行ing进行时,你可以继续做其它的事情
定时任务(django-crontable)
celery的组成以及原理?
​ 主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)

​ 我们只需要将请求所要处理的任务丢入任务队列broker中,由空闲的worker去处理任务即可,处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进程来实现分布式地并行处理任务

celery的使用?
确定broker(消息队列)
使用django-celery并配置
delay异步调用
使用rabbitmq和redis作为broker的优劣势分别是什么?

具体使用rabbitmq还是redis还是要根据项目需求来进行判断:

对于消耗资源这方面不是很介意的话,注重性能和体验,同时能够分出专员来维护rabbitmq服务器,那么rabbitmq还是强烈推荐的,毕竟rabbitmq能实现的实在是非常的全面而且效果也好。
如果在项目中,只需要实现很简单的功能,同时对返回消息、数据处理上面要求不是那么高的话,还是非常推荐使用redis的,毕竟redis使用起来更加的便捷、快速。
总结:

rabbitMQ:大而全,更安全,数据处理更快速。

redis:使用更方便,开发更快速。

 

posted @ 2022-07-16 23:09  aaron_agu  阅读(250)  评论(0编辑  收藏  举报