随笔分类 -  005_消息队列

摘要:之前在 Celery 的故障切换之中 提到了 Quartz 的故障切换策略,我们就顺便看看 Quartz 如何实现。大家可以互相印证下,看看这些系统之间的异同和精华所在。 阅读全文
posted @ 2021-05-24 20:44 罗西的思考 阅读(2357) 评论(0) 推荐(2) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文介绍 Celery 的Lamport 逻辑时钟 & Mingle。 阅读全文
posted @ 2021-05-20 20:38 罗西的思考 阅读(741) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文介绍 Celery 的故障转移容错机制。 阅读全文
posted @ 2021-05-17 20:22 罗西的思考 阅读(2152) 评论(0) 推荐(2) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文介绍 Celery 的负载均衡机制。 阅读全文
posted @ 2021-05-13 21:30 罗西的思考 阅读(1157) 评论(1) 推荐(1) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量事件的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文讲解 EventDispatcher 和 Event 组件 如何实现。 阅读全文
posted @ 2021-05-10 21:02 罗西的思考 阅读(793) 评论(2) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。之前我们用了十几篇文章,介绍了 Kombu 和 Celery 的基础功能。从本文开始,我们介绍 Celery 的一些辅助功能(比如负载均衡,容错等等)。其实从某种意义上来说,这些辅助功能更加重要。本文我们介绍 Timer 和 Heart 这两个组件。 阅读全文
posted @ 2021-05-06 20:49 罗西的思考 阅读(1046) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。在前文中,我们介绍了Celery 多线程模型,本文介绍子进程如何处理消息。 阅读全文
posted @ 2021-04-25 20:48 罗西的思考 阅读(410) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。在前文中,我们介绍了Celery 多线程模型,但是我们略过了子进程这一个阶段,本文看看子进程如何继续启动。 阅读全文
posted @ 2021-04-22 21:45 罗西的思考 阅读(1489) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。在之前的文章中,我们看到了关于Task的分析,本文我们重点看看在客户端如何发送Task,以及 Celery 的amqp对象如何使用。 阅读全文
posted @ 2021-04-19 20:40 罗西的思考 阅读(1501) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。因为 Celery 通过多进程来提高执行效率,所以本文将带领大家初步了解 Celery 之 多进程架构和模型。 阅读全文
posted @ 2021-04-15 19:04 罗西的思考 阅读(1955) 评论(3) 推荐(2) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。经过多篇文章之后,我们介绍了 Celery 如何启动,也介绍了 Task。本文我们就看看收到一个任务之后,Celery(包括 Kombu)内部的消费流程脉络(到多进程之前)。 阅读全文
posted @ 2021-04-12 21:11 罗西的思考 阅读(987) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文目的是看看 Celery 的 task 究竟是什么,以及 如果我们想从无到有实现一个 task 机制,有哪些地方需要注意,应该如何处理。 阅读全文
posted @ 2021-04-08 21:31 罗西的思考 阅读(1524) 评论(1) 推荐(4) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本文我们来说说Celery Worker Consumer 组件的启动。首先会概述启动过程,然后会选择Consumer的三个有特点的 子组件 进一步讲解其启动过程。这样大家就对 Consumer 的来龙去脉了解会更加深入。 阅读全文
posted @ 2021-04-05 09:46 罗西的思考 阅读(1188) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。Celery 是调用其Worker 组件来完成具体任务处理。前文讲了 Celery 启动过程的前半部分,本文继续后半部分的分析。 阅读全文
posted @ 2021-04-01 21:58 罗西的思考 阅读(868) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。Celery 是调用其Worker 组件来完成具体任务处理。本文我们讲解worker的启动过程。 阅读全文
posted @ 2021-03-29 21:27 罗西的思考 阅读(2237) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本系列将通过源码分析,和大家一起深入学习 Celery。本文是系列第二篇,继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02 罗西的思考 阅读(2381) 评论(0) 推荐(0) 编辑
摘要:Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本系列将继续通过源码分析,和大家一起深入学习 Celery。本文是系列第一篇,借鉴了几位网友的大作,按照自己的理解再重新整理,遂得此文。 阅读全文
posted @ 2021-03-26 22:40 罗西的思考 阅读(2542) 评论(0) 推荐(1) 编辑
摘要:本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 中的 mailbox 概念,顺便可以把之前几篇文章内容再次梳理下。 阅读全文
posted @ 2021-03-25 21:51 罗西的思考 阅读(845) 评论(0) 推荐(0) 编辑
摘要:本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 中的 Hub 概念。 阅读全文
posted @ 2021-03-16 06:37 罗西的思考 阅读(746) 评论(0) 推荐(0) 编辑
摘要:本系列我们介绍消息队列 Kombu。Kombu 的定位是一个兼容 AMQP 协议的消息队列抽象。通过本文,大家可以了解 Kombu 中的 Producer 概念。 阅读全文
posted @ 2021-03-12 22:27 罗西的思考 阅读(612) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示